[論文レビュー] Tracing the boundaries of materials in transparent vessels using computer vision

Sagi Eppel|arXiv (Cornell University)|Jan 20, 2015

Spectroscopy and Chemometric Analyses参考文献 71被引用数 4

ひとこと要約

本稿では、画像解析を用いて透明な容器内の材料境界を検出するコンピュータビジョン手法を提示する。境界を容器の輪郭上に端点を持つ曲線としてモデル化し、画像の性質に基づくコスト関数を用いて曲線の尤もらしさを評価し、ダイクストラ法を用いて最適な境界を特定する。本手法は、液体、固体、粘性流体を含む多様な材料およびラボ用ガラス器に成功裏に適用された。

ABSTRACT

Visual recognition of material boundaries in transparent vessels is valuable for numerous applications. Such recognition is essential for estimation of fill-level, volume and phase-boundaries as well as for tracking of such chemical processes as precipitation, crystallization, condensation, evaporation and phase-separation. The problem of material boundary recognition in images is particularly complex for materials with non-flat surfaces, i.e., solids, powders and viscous fluids, in which the material interfaces have unpredictable shapes. This work demonstrates a general method for finding the boundaries of materials inside transparent containers in images. The method uses an image of the transparent vessel containing the material and the boundary of the vessel in this image. The recognition is based on the assumption that the material boundary appears in the image in the form of a curve (with various constraints) whose endpoints are both positioned on the vessel contour. The probability that a curve matches the material boundary in the image is evaluated using a cost function based on some image properties along this curve. Several image properties were examined as indicators for the material boundary. The optimal boundary curve was found using Dijkstra's algorithm. The method was successfully examined for recognition of various types of phase-boundaries, including liquid-air, solid-air and solid-liquid interfaces, as well as for various types of glassware containers from everyday life and the chemistry laboratory (i.e., bottles, beakers, flasks, jars, columns, vials and separation-funnels). In addition, the method can be easily extended to materials carried on top of carrier vessels (i.e., plates, spoons, spatulas).

研究の動機と目的

• 透明性や複雑な界面のため、従来のセグメンテーション手法が失敗する透明な容器における材料境界を、信頼性の高い方法で検出すること。
• 粉末、粘性流体、固体など、平坦でない不規則な形状の材料境界を認識する課題に対処すること。
• 化学およびラボプロセスにおける充填レベル、体積、相界面の正確な推定を可能にすること。
• ビーカー、フラスコ、ビアールなどのガラス器タイプや、スプーンやプレートなどのキャリア容器上に置かれた材料に対しても、適用範囲を拡張すること。
• 画像ベースの解析を用いて、透明な容器内の境界検出に一般化可能でオープンソースなソリューションを提供すること。

提案手法

• 本手法は、材料境界が画像内で両端点が容器の輪郭上にある曲線として現れると仮定する。
• 候補となる曲線に沿った画像の性質（例：明るさ、勾配、テクスチャ）に基づいてコスト関数を定義し、それが真の材料境界である可能性を評価する。
• ダイクストラ法を用いて、容器の輪郭上の2点を結ぶ最小コストの曲線（最も確率の高い境界）を探索する。
• エッジ強度やコントラストの変動など、境界尤もらしさの指標として複数の画像特性を評価する。
• 液体、固体、粘性流体を含む材料を有する透明容器の画像に本手法を適用し、多様なガラス器タイプで検証する。
• 境界検出ロジックを調整することにより、スプーンやプレート上などのキャリア容器上に置かれた材料に対しても、本手法を拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 複雑で平坦でない界面を有する透明な容器において、汎用的なコンピュータビジョン手法が信頼性を持って材料境界を検出できるか？
• RQ2 容器の輪郭上に端点を制約した曲線ベースの境界モデルは、多様な材料にわたって材料境界をどれほど正確に捉えることができるか？
• RQ3 明るさの勾配やコントラストといった画像特性を、他の画像特徴から材料境界を区別するためにどれほど効果的に利用できるか？
• RQ4 本手法は、多様な種類のラボ用ガラス器および実世界の容器に一般化可能か？
• RQ5 コスト最小化パス探索にダイクストラ法を用いることで、透明な容器における境界検出精度がどの程度向上するか？

主な発見

• 本手法は、液体-空気、固体-空気、固体-液体界面を含む、広範な材料種別で材料境界を成功裏に検出できた。
• ビーカー、フラスコ、ビアール、分離漏斗を含む、さまざまな形状・サイズの透明容器に対しても、堅牢な検出が実現した。
• ボトル、ジャー、カラムなど、日常的に使用される非ラボ用ガラス器に対しても、本手法は良好に一般化された。
• スプーンやプレート上に置かれた粉末など、キャリア容器上に置かれた材料に対しても、境界制約モデルを調整することで、本手法を拡張可能であった。
• 画像の性質に基づくコスト関数を用いることで、明確な色やテクスチャのコントラストが欠如する状況でも、正確な境界選択が可能であった。
• 実装コードとドキュメントを公開しており、再現性の確保とさらなる開発を支援している。