[論文レビュー] SmartAnnotator: An Interactive Tool for Annotating RGBD Indoor Images

Yu‐Shiang Wong, Hung‐Kuo Chu+1 more|arXiv (Cornell University)|Mar 23, 2014

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 8

ひとこと要約

SmartAnnotator は、学習された幾何学的および構造的事前知識を活用してセグメンテーション、ラベル付け、3D モデル構造の推論を自動化するインタラクティブな RGBD 画像アノテーションツールです。ユーザーは最小限のクリックでシステムが提示するラベルや構造を承認するだけで、平均して 5 秒未塔のアノテーション時間を達成でき、継続的な学習により順次のセッションで性能が向上します。

ABSTRACT

RGBD images with high quality annotations in the form of geometric (i.e., segmentation) and structural (i.e., how do the segments are mutually related in 3D) information provide valuable priors to a large number of scene and image manipulation applications. While it is now simple to acquire RGBD images, annotating them, automatically or manually, remains challenging especially in cluttered noisy environments. We present SmartAnnotator, an interactive system to facilitate annotating RGBD images. The system performs the tedious tasks of grouping pixels, creating potential abstracted cuboids, inferring object interactions in 3D, and comes up with various hypotheses. The user simply has to flip through a list of suggestions for segment labels, finalize a selection, and the system updates the remaining hypotheses. As objects are finalized, the process speeds up with fewer ambiguities to resolve. Further, as more scenes are annotated, the system makes better suggestions based on structural and geometric priors learns from the previous annotation sessions. We test our system on a large number of database scenes and report significant improvements over naive low-level annotation tools.

研究の動機と目的

• 騒がしく、混雑した RGBD 内部シーンにおいて、高品質な幾何学的および構造的アノテーションを手作業で行う際のボトル neck を解消すること。
• 色と深度のデータを用いて、セグメンテーション、オブジェクトラベリング、3D 構造的推論を自動化することで、ラベリングにかかるユーザーの作業負荷を低減すること。
• 過去のアノテーションから段階的な学習を可能にし、継続的に提案の正確性とアノテーション速度を向上させること。
• 統合的なインタラクティブフレームワーク内で、画像レベルのセグメンテーションとシーンレベルの構造的関係（例：上部、支持）を両立させること。
• 初期確認後、1 回のクリックで全ラベルの承認を可能にすることで、ユーザーの関与を最小限に抑えること。

提案手法

• 本システムは二段階のパイプラインを採用：10 個の初期ラベル付き RGBD シーンから幾何学的および構造的事前知識を抽出する学習段階と、新しいシーンを処理するアノテーション段階。
• 色と深度データに基づく近似立方体を用いて、入力 RGBD 画像を 3D シーン表現に変換する。
• 学習済みの事前知識を用いてオブジェクトラベルと支持関係（例：上部、接触）を予測し、ユーザーのフィードバックに基づいて反復的に改善する。
• ユーザーのインタラクションは最小限：順位付けされた提案（例：「ベッド」対「キャビネット」）から選択可能で、システムは残りの仮説を動的に更新する。
• 構造的グラフの最適化により、推定された支持関係の誤りを低減し、3D シーン構造の推定精度を向上させる。
• 継続的な学習により、アノテーションセッションを経るごとに事前知識を精錬し、時間の経過とともにより速く正確な提案が可能になる。

実験結果

リサーチクエスチョン

• RQ1 学習された幾何学的および構造的事前知識を活用したインタラクティブシステムは、RGBD 内部シーンのアノテーション時間を顕著に短縮できるか？
• RQ2 過去のアノテーションセッションからの段階的学習によって、ラベルおよび構造予測の性能はどのように向上するか？
• RQ3 自動セグメンテーションおよび 3D 構造的推論は、複雑で遮蔽のある内部シーンにおいて、ユーザーの作業負荷をどの程度低減できるか？
• RQ4 遮蔽が存在する状況下でも、3D における正しい支持関係（例：上部、支持）の推定は、どの程度有効に機能するか？
• RQ5 床に依存する抽象化と床ベースの推論を用いる場合、床領域が欠落または曖昧なシーンにおいて、主な限界は何か？

主な発見

• 本システムは、1 イメージあたり平均して 5 秒未塔のアノテーション時間を達成し、ユーザーはベッドの確認に 1 クリック、全ラベルの承認に 1 クリックの合計 2 クリックで完了した。
• オブジェクトラベル予測の Top-3-Hit 率は時間の経過とともに向上し、アノテートされたシーンが増えるごとにシステムの提案の正確性が向上したことが示された。
• 構造的グラフの最適化により、支持関係の誤り率が低下し、「上部」や「支持」などの 3D 関係推定の正確性が向上したことが実証された。
• 最後の 2 回の試行で性能の低下が観察されたことから、初期の誤ったアノテーションによる誤差の蓄積が、その後の学習に悪影響を及える可能性があることが示された。
• 床が完全に見えないシーンでは、システムが正しい床領域を推定できず、浮遊するオブジェクトが発生し、局所的最適化が無効化された。
• 立方体抽象化は、非凸なオブジェクト同士の相互作用（例：机の中にすっぽりと入った椅子）に対応できず、寸法推定の誤差や構造的誤りが生じた。