[논문 리뷰] Tracing the boundaries of materials in transparent vessels using computer vision

Sagi Eppel|arXiv (Cornell University)|2015. 01. 20.

Spectroscopy and Chemometric Analyses참고 문헌 71인용 수 4

한 줄 요약

이 논문은 영상 분석을 이용해 투명 용기 내 재료 경계를 감지하는 컴퓨터 비전 기법을 제시한다. 경계는 용기 윤곽선에 끝점을 가진 곡선으로 모델링되며, 영상 특성에 기반한 비용 함수를 통해 곡선의 가능성도 평가하고, 다익스트라 알고리즘을 사용해 최적의 경계를 찾는다. 이 방법은 액체, 고체, 점성 유체를 포함한 다양한 재료와 실험용 유리용기 유형에 성공적으로 적용되었다.

ABSTRACT

Visual recognition of material boundaries in transparent vessels is valuable for numerous applications. Such recognition is essential for estimation of fill-level, volume and phase-boundaries as well as for tracking of such chemical processes as precipitation, crystallization, condensation, evaporation and phase-separation. The problem of material boundary recognition in images is particularly complex for materials with non-flat surfaces, i.e., solids, powders and viscous fluids, in which the material interfaces have unpredictable shapes. This work demonstrates a general method for finding the boundaries of materials inside transparent containers in images. The method uses an image of the transparent vessel containing the material and the boundary of the vessel in this image. The recognition is based on the assumption that the material boundary appears in the image in the form of a curve (with various constraints) whose endpoints are both positioned on the vessel contour. The probability that a curve matches the material boundary in the image is evaluated using a cost function based on some image properties along this curve. Several image properties were examined as indicators for the material boundary. The optimal boundary curve was found using Dijkstra's algorithm. The method was successfully examined for recognition of various types of phase-boundaries, including liquid-air, solid-air and solid-liquid interfaces, as well as for various types of glassware containers from everyday life and the chemistry laboratory (i.e., bottles, beakers, flasks, jars, columns, vials and separation-funnels). In addition, the method can be easily extended to materials carried on top of carrier vessels (i.e., plates, spoons, spatulas).

연구 동기 및 목표

• 투명성과 복잡한 인터페이스로 인해 기존 분할 기법이 실패하는 투명 용기 내 재료 경계를 신뢰성 있게 감지할 수 있는 강력한 방법을 개발하기 위해.
• 예를 들어 분말, 점성 유체, 고체 등과 같은 평탄하지 않고 비정형인 재료 경계를 인식하는 데 도전하는 것.
• 화학 및 실험 공정 과정에서 용량, 부피, 상 경계를 정확하게 추정할 수 있도록 하는 것.
• 비커, flasks, 비알, 다양한 유리용기 유형(예: 비커, 플라스크, 비알)과 재료(예: 숟가락이나 접시 위에 있는 재료 포함)에까지 적용 가능하도록 확장하는 것.
• 이미지 기반 분석을 이용해 투명 용기 내 경계 감지를 위한 일반화 가능하고 오픈소스 솔루션을 제공하는 것.

제안 방법

• 이 방법은 재료 경계가 영상에서 용기 윤곽선에 끝점을 가진 곡선으로 나타난다고 가정한다.
• 후보 곡선의 경계 가능성도 평가하기 위해 영상 특성(예: 강도, 기울기, 질감 등)에 기반한 비용 함수를 정의한다.
• 용기 윤곽선 상의 두 점을 연결하는 최소 비용 곡선을 찾기 위해 다익스트라 알고리즘을 사용한다. 이 곡선이 가장 가능성이 높은 경계를 나타낸다.
• 경계 가능성 지표로 다양한 영상 특성(예: 엣지 강도, 대비 변화 등)을 평가한다.
• 액체, 고체, 점성 유체 등 다양한 재료를 포함한 투명 용기 영상에 적용하고, 다양한 유리용기 유형에서 검증한다.
• 경계 감지 논리를 수정함으로써 숟가락이나 접시 위의 재료(예: 분말)에도 적용 가능하도록 확장할 수 있다.

실험 결과

연구 질문

• RQ1 복잡하고 평탄하지 않은 인터페이스를 가진 투명 용기에서 일반 목적의 컴퓨터 비전 기법이 재료 경계를 신뢰성 있게 감지할 수 있는가?
• RQ2 용기 윤곽선에 고정된 끝점을 가진 곡선 기반 경계 모델이 다양한 재료의 경계를 얼마나 잘 포착할 수 있는가?
• RQ3 강도 기울기 및 대비와 같은 영상 특성이 다른 영상 특징과 재료 경계를 구분하는 데 얼마나 유용한가?
• RQ4 이 방법은 다양한 실험용 유리용기 및 실제 생활에서 사용하는 용기 유형으로 일반화될 수 있는가?
• RQ5 비용 최소화 경로 탐색에 다익스트라 알고리즘을 사용함으로써 투명 용기 내 경계 감지 정확도가 얼마나 향상되는가?

주요 결과

• 이 방법은 액체-공기, 고체-공기, 고체-액체 인터페이스를 포함한 다양한 재료의 경계를 성공적으로 감지한다.
• 비커, 플라스크, 비알, 분리 funnels를 포함한 다양한 모양과 크기의 투명 용기에서도 강력한 감지 성능을 보인다.
• 일상에서 사용하는 병, Jars, 컬럼과 같은 실험용 유리용기 이외의 용기 유형에도 잘 일반화된다.
• 경계 제약 모델을 수정함으로써 숟가락이나 접시 위의 재료(예: 분말)에도 적용 가능하게 확장할 수 있다.
• 색상 또는 질감 대비가 뚜렷하지 않은 상황에서도 영상 특성에 기반한 비용 함수를 사용함으로써 정확한 경계 선택이 가능하다.
• 코드와 문서가 함께 공개되어 있어 재현성과 향후 개발을 지원한다.