[論文レビュー] Tracing liquid level and material boundaries in transparent vessels using the graph cut computer vision approach

Sagi Eppel|arXiv (Cornell University)|Jan 31, 2016

Industrial Vision Systems and Defect Detection参考文献 50被引用数 16

ひとこと要約

本稿では、画像セグメンテーションを用いて、透明な容器内の液体の液面および物質の境界を高精度に追跡する、グラフカットに基づくコンピュータビジョン手法を提案する。容器の画像を、強度に基づくエッジ重みを持つグラフとしてモデル化し、ボトムとトップの10%のピクセルをそれぞれソース（物質）およびシンク（空気）として設定することで、最大フロー／最小カットを用いた最小カットを計算し、多様な物質および容器タイプにおいても高精度に境界を特定する。

ABSTRACT

Detection of boundaries of materials stored in transparent vessels is essential for identifying properties such as liquid level and phase boundaries, which are vital for controlling numerous processes in the industry and chemistry laboratory. This work presents a computer vision method for identifying the boundary of materials in transparent vessels using the graph-cut algorithm. The method receives an image of a transparent vessel containing a material and the contour of the vessel in the image. The boundary of the material in the vessel is found by the graph cut method. In general the method uses the vessel region of the image to create a graph, where pixels are vertices, and the cost of an edge between two pixels is inversely correlated with their intensity difference. The bottom 10% of the vessel region in the image is assumed to correspond to the material phase and defined as the graph and source. The top 10% of the pixels in the vessels are assumed to correspond to the air phase and defined as the graph sink. The minimal cut that splits the resulting graph between the source and sink (hence, material and air) is traced using the max-flow/min-cut approach. This cut corresponds to the boundary of the material in the image. The method gave high accuracy in boundary recognition for a wide range of liquid, solid, granular and powder materials in various glass vessels from everyday life and the chemistry laboratory, such as bottles, jars, Glasses, Chromotography colums and separatory funnels.

研究の動機と目的

• 産業的およびラボプロセス制御において不可欠な、透明な容器内の物質境界を検出する耐障害性の高いコンピュータビジョン手法の開発。
• 透明性および屈折のため、視覚的手がかりが曇りやすい透明な容器内における相境界の同定という課題に対処すること。
• 液体、粉末、および粒状物質を含む多様な物質において、液面および物質境界を高精度に検出できること。
• 最小限のユーザ入力で、複雑な視覚環境下でもセグメンテーションにグラフカット最適化を活用すること。
• ボトル、ジャー、ビーカー、分液漏斗など、実世界の透明な容器を用いて、手法の妥当性を検証すること。

提案手法

• 本手法は、容器領域内の各ピクセルを頂点とし、隣接ピクセル間の強度差に反比例するエッジ重みを持つグラフを構築する。
• 容器領域の下位10%のピクセルを、物質相を表すソースノードとして定義する。
• 容器領域の上位10%のピクセルを、空気相を表すシンクノードとして定義する。
• 最大フロー／最小カットアルゴリズムを用いて最小カットを計算し、ソースとシンクを分離することで、境界を特定する。
• セグメンテーション結果は最小カットから得られ、物質と空気の界面を効果的にトレースする。
• 本手法は、物質の種別や形状に関する事前知識を必要とせず、容器の輪郭と画像入力のみを要する。

実験結果

リサーチクエスチョン

• RQ1 照明条件や物質状態が異なる状況下でも、グラフカットセグメンテーションは透明ガラス器内の液体の液面を高精度に同定できるか？
• RQ2 液体、固体、粉末などの異なる物質相の境界を、透明な容器内でどの程度正確に検出できるか？
• RQ3 ラボおよび日常用途で見られる多様な容器形状および物質種別に、本手法はどの程度一般化可能か？
• RQ4 容器の下部10%をソース、上部10%をシンクとして配置し、強度に基づくエッジ重みを用いることで、安定したセグメンテーション結果が得られるか？
• RQ5 容器の輪郭のみを入力として、最小限のユーザ入力で高精度な検出が可能か？

主な発見

• 本手法は、液体、粉末、粒状物質、固体を含む広範な物質において、物質境界の検出において高い精度を達成した。
• ボトル、ジャー、ビーカー、クロマトグラフィー用カラム、分液漏斗など、多様な透明な容器においても境界を正常に同定できた。
• 下位10%をソース、上位10%をシンクとして設定したことで、屈折や複雑な照明環境下でも安定したセグメンテーションが可能であった。
• 強度に基づくエッジ重みを用いたグラフカットアプローチにより、物質に特化したキャリブレーションを必要とせず、一貫性があり正確な境界トレースが得られた。
• 本手法は、多様な実世界の容器および物質種別に強く一般化し、ラボおよび産業現場での実用的応用が示唆された。
• 最大フロー／最小カットにより計算された最小カットは、物質相と空気相を効果的に分離し、正確な輪郭検出を実現した。