[論文レビュー] Weakly Supervised Learning of Affordances

Abhilash Srikantha, Jüergen Gall|arXiv (Cornell University)|May 10, 2016

Robot Manipulation and Learning参考文献 21被引用数 15

ひとこと要約

本論文は、画像レベルラベル、キーポイントアノテーション、および人間のポーズを文脈的手がかりとして用いる弱教師付き深層学習フレームワークを提案する。期待最大化（EM）最適化ループと深層畳み込みニューラルネットワーク（DCNN）を統合することで、最小限の監視のもとで最先端の性能を達成し、3090枚の画像と9916個のオブジェクトインスタンス、豊富な人間-オブジェクトインタラクション文脈を含む新しいピクセルアノテーション付きデータセットにおいて、平均正答率を0.27まで向上させた。

ABSTRACT

Localizing functional regions of objects or affordances is an important aspect of scene understanding. In this work, we cast the problem of affordance segmentation as that of semantic image segmentation. In order to explore various levels of supervision, we introduce a pixel-annotated affordance dataset of 3090 images containing 9916 object instances with rich contextual information in terms of human-object interactions. We use a deep convolutional neural network within an expectation maximization framework to take advantage of weakly labeled data like image level annotations or keypoint annotations. We show that a further reduction in supervision is possible with a minimal loss in performance when human pose is used as context.

研究の動機と目的

• ピクセル単位のアフォーダンスセグメンテーションの高コストなアノテーション問題に対処し、画像レベルラベルや疎なキーポイントアノテーションといった弱教師付き学習を可能にする。
• 人間-オブジェクトインタラクション文脈、特に人間のポーズが弱教師付きアフォーダンスセグメンテーションの性能向上に果たす役割を調査する。
• 高価なピクセル単位のアノテーションに依存しないように、弱いアノテーションと文脈的手がかりを活用するスケーラブルでエンドツーエンドの深層学習フレームワークを構築する。
• ベンチマーク用に、豊富な人間-オブジェクトインタラクション文脈を含む、新しい大規模なピクセルアノテーション付きアフォーダンスデータセットを提供する。
• 人間のポーズが、キーポイントアノテーションを画像間で効果的に転送できることを示し、弱教師付き設定における初期化と性能向上に寄与することを実証する。

提案手法

• 本手法は、弱教師付き学習を用いて段階的にセグメンテーション予測を改善する期待最大化（EM）フレームワークを採用する。Eステップでは、キーポイントアノテーションを中心とするガウス分布を用いて潜在的なピクセル単位のセグメンテーションを推定する。Mステップでは、これらの推定値を仮の正解として、DCNNを学習する。
• 本手法は[10]のEMフレームワークを拡張し、キーポイントアノテーションにおける空間的依存関係を統合することで、疎なクリックポイントまたはキーポイントラベルの有効な利用を可能にする。
• 人間のポーズを文脈的事前分布として用いる。回帰モデルにより、直接のキーポイントアノテーションが存在しない画像においても、人間のポーズからキーポイント位置を予測する。これにより、弱いアノテーションの転送が可能になる。
• 本フレームワークは混合監視をサポートしており、画像レベルラベルが付与された画像とキーポイントアノテーションが付与された画像を同時に学習に用いることができる。
• Eステップでは、前景と背景の予測のバランスを改善し、収束性とセグメンテーション品質を向上させるために、定数バイアス項を用いる。
• 本手法は、3090枚の画像と9916個のオブジェクトインスタンスを含み、ピクセル単位のアフォーダンスラベルと豊富な人間-オブジェクトインタラクション文脈がアノテートされた新しいデータセットを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 完全なピクセル単位のアノテーションを必要とせず、画像レベルラベルや疎なキーポイントアノテーションといった弱教師付き学習によって、アフォーダンスセグメンテーションを効果的に学習できるか？
• RQ2 弱教師付きアフォーダンスセグメンテーションにおいて、キーポイントアノテーションを画像間で転送する文脈的信号としての人間のポーズの有効性はいかほどか？
• RQ3 人間-オブジェクトインタラクション文脈を統合することで、弱教師付きアフォーダンスセグメンテーションモデルの性能はどの程度向上するか？
• RQ4 混合監視（画像ラベルとキーポイントアノテーション）を用いて学習した場合、EMベースの深層学習フレームワークは、既存の弱教師付き手法を上回る性能を示せるか？
• RQ5 異なる文脈的事前分布（例：人間のポーズ vs. オブジェクトのバウンディングボックス）が、転送されたキーポイントアノテーションの品質および最終的なセグメンテーション正答率に与える影響は何か？

主な発見

• キーポイント監視と人間のポーズ文脈を組み合わせたEMベースの手法は、CAD120データセットにおいて平均正答率0.27を達成し、ベースライン手法を著しく上回った。
• キーポイントアノテーションが付与された訓練データの2/3のみを用い、EMフレームワークを収束まで適用することで、性能が0.22から0.25に向上した。これは反復的リファインメントの有効性を示している。
• 本手法は、半教師付きベースライン[10]を大幅に上回り、平均正答率0.25（[10]の0.16）を達成した。これは、[10]における定数バイアス項がアフォーダンスセグメンテーションには不十分であることを示している。
• 人間のポーズを用いた回帰によるキーポイントアノテーションの転送により、性能が1イテレーション目（0.25）から収束時（0.27）に向上した。これは、ポーズに基づく文脈情報がモデルの一般化性能を向上させることを示している。
• 人間のポーズの代わりにオブジェクトのバウンディングボックスをキーポイント回帰に用いた場合、性能は著しく低下（平均正答率0.21）した。これは、単なるオブジェクト局在化よりも、人間のポーズがより効果的で情報豊かな文脈であることを確認している。
• 定性的な結果では、本手法が、VGG+SRFや弱教師付き学習で訓練されたDeepLabですら上回る、より正確で空間的に整合性のあるアフォーダンスセグメンテーションを生成していることが示された。特に『切り取り可能』のような細分化されたアフォーダンスにおいて顕著であった。