[논문 리뷰] Tracing liquid level and material boundaries in transparent vessels using the graph cut computer vision approach

Sagi Eppel|arXiv (Cornell University)|2016. 01. 31.

Industrial Vision Systems and Defect Detection참고 문헌 50인용 수 16

한 줄 요약

이 논문은 영상 분할을 통해 투명한 용기 내에서 액체 수위와 물질 경계를 정확하게 추적하기 위한 그래프 컷 기반 컴퓨터 비전 방법을 제안한다. 용기 영상을 강도 기반 엣지 가중치를 가진 그래프로 모델링하고, 하단 10% 픽셀을 소스(물질)로, 상단 10% 픽셀을 싱크(공기)로 설정함으로써, 최대 유량/최소 컷 알고리즘을 통해 최소 컷을 계산하여 다양한 물질 및 용기 유형에서 높은 정밀도로 경계를 식별한다.

ABSTRACT

Detection of boundaries of materials stored in transparent vessels is essential for identifying properties such as liquid level and phase boundaries, which are vital for controlling numerous processes in the industry and chemistry laboratory. This work presents a computer vision method for identifying the boundary of materials in transparent vessels using the graph-cut algorithm. The method receives an image of a transparent vessel containing a material and the contour of the vessel in the image. The boundary of the material in the vessel is found by the graph cut method. In general the method uses the vessel region of the image to create a graph, where pixels are vertices, and the cost of an edge between two pixels is inversely correlated with their intensity difference. The bottom 10% of the vessel region in the image is assumed to correspond to the material phase and defined as the graph and source. The top 10% of the pixels in the vessels are assumed to correspond to the air phase and defined as the graph sink. The minimal cut that splits the resulting graph between the source and sink (hence, material and air) is traced using the max-flow/min-cut approach. This cut corresponds to the boundary of the material in the image. The method gave high accuracy in boundary recognition for a wide range of liquid, solid, granular and powder materials in various glass vessels from everyday life and the chemistry laboratory, such as bottles, jars, Glasses, Chromotography colums and separatory funnels.

연구 동기 및 목표

• 투명한 용기 내에서 물질 경계를 탐지하기 위한 강력한 컴퓨터 비전 방법을 개발하는 것. 이는 산업 및 실험실 공정 제어에 매우 중요하다.
• 투명성과 굴절으로 인해 시각적 단서가 모호한 투명한 용기 내에서 상(phase) 경계를 식별하는 과제를 해결하는 것.
• 액체, 분말, 입자상 물질을 포함한 다양한 물질에 대해 액체 수위와 물질 경계를 정확하게 탐지할 수 있도록 하는 것.
• 복잡한 시각 환경에서 최소한의 사용자 입력으로도 그래프 컷 최적화를 활용한 분할을 수행하는 것.
• 병, wide-mouth jar, 플라스크, 분리 funnels 등의 실제 투명한 용기를 대상으로 방법을 검증하는 것.

제안 방법

• 각 픽셀을 정점으로 하는 그래프를 구성하며, 인접한 픽셀 간의 강도 차이에 반비례하는 엣지 가중치를 설정한다.
• 용기 영역의 하단 10% 픽셀을 소스 노드로 정의하여 물질 상을 나타낸다.
• 용기 영역의 상단 10% 픽셀을 싱크 노드로 정의하여 공기 상을 나타낸다.
• 최대 유량/최소 컷 알고리즘을 사용하여 소스와 싱크를 분리하는 최소 컷을 계산함으로써 물질 경계를 식별한다.
• 최소 컷 결과로부터 분할 결과를 도출하며, 이는 물질과 공기 사이의 인터페이스를 효과적으로 추적한다.
• 물질 유형이나 형태에 대한 사전 지식이 필요 없이, 용기 윤곽선과 영상 입력만으로도 작동한다.

실험 결과

연구 질문

• RQ1 다양한 조명 조건과 물질 조건에서 투명한 유리용기 내 액체 수위를 그래프 컷 분할로 정확하게 식별할 수 있는가?
• RQ2 이 방법은 투명한 용기 내에서 액체, 고체, 분말 등의 다양한 물질 상 간 경계 탐지에 얼마나 잘 작동하는가?
• RQ3 실험실 및 일상 용도에서 흔히 볼 수 있는 다양한 용기 형태와 물질에 대해 이 방법이 얼마나 일반화되는가?
• RQ4 용기 하단 10%를 소스, 상단 10%를 싱크로 설정하고 강도 기반 엣지 가중치를 사용할 경우, 안정적인 분할 결과를 얻을 수 있는가?
• RQ5 용기 윤곽선만으로도 최소한의 사용자 입력으로 높은 정밀도를 달성할 수 있는가?

주요 결과

• 이 방법은 액체, 분말, 입자상 물질, 고체를 포함한 다양한 물질에 대해 물질 경계 탐지에서 높은 정밀도를 달성했다.
• 병, wide-mouth jar, 플라스크, 크로마토그래피 컬럼, 분리 funnels 등의 다양한 투명한 용기에서 경계를 성공적으로 식별했다.
• 하단 10%를 소스, 상단 10%를 싱크로 설정함으로써 굴절과 복잡한 조명 조건이 존재하는 상황에서도 강력한 분할 성능을 보였다.
• 강도 기반 엣지 가중치를 사용한 그래프 컷 접근법은 물질 특성에 맞는 校정이 필요 없이 일관되고 정밀한 경계 추적을 가능하게 했다.
• 실제 용기와 다양한 물질 유형에 대해 뛰어난 일반화 성능을 보이며, 실험실 및 산업 현장에서의 실용적 적용 가능성을 입증했다.
• 최대 유량/최소 컷 알고리즘을 통해 계산된 최소 컷은 물질과 공기 상을 효과적으로 분리하여 정확한 윤곽선 탐지 결과를 도출했다.