[論文レビュー] Towards Holistic Scene Understanding: Feedback Enabled Cascaded Classification Models

Congcong Li, Adarsh Kowdle+2 more|arXiv (Cornell University)|Oct 24, 2011

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 45

ひとこと要約

本論文は、トレーニング中に後続の分類器から先行の分類器へフィードバックを可能にするブラックボックスフレームワークであるフィードバック駆動型段階的分類モデル（FE-CCM）を提案する。この手法により、深度推定、物体検出、シーン分類などの相関する複数のシーン理解タスクを同時に最適化でき、全タスクにおいて性能が著しく向上し、タスク固有の誤差トレードオフを反復的フィードバックによって学習することで、ロボットの grasping（把持）および物体探索の性能も向上する。

ABSTRACT

Scene understanding includes many related sub-tasks, such as scene categorization, depth estimation, object detection, etc. Each of these sub-tasks is often notoriously hard, and state-of-the-art classifiers already exist for many of them. These classifiers operate on the same raw image and provide correlated outputs. It is desirable to have an algorithm that can capture such correlation without requiring any changes to the inner workings of any classifier. We propose Feedback Enabled Cascaded Classification Models (FE-CCM), that jointly optimizes all the sub-tasks, while requiring only a `black-box' interface to the original classifier for each sub-task. We use a two-layer cascade of classifiers, which are repeated instantiations of the original ones, with the output of the first layer fed into the second layer as input. Our training method involves a feedback step that allows later classifiers to provide earlier classifiers information about which error modes to focus on. We show that our method significantly improves performance in all the sub-tasks in the domain of scene understanding, where we consider depth estimation, scene categorization, event categorization, object detection, geometric labeling and saliency detection. Our method also improves performance in two robotic applications: an object-grasping robot and an object-finding robot.

研究の動機と目的

• 個々の分類器を変更せずに、複数の相関するサブタスクを同時に最適化することで、包括的なシーン理解の課題に取り組む。
• 従来の段階的モデルが後続の段階から先行の段階へフィードバックを欠いているという制限を克服する。
• 入出力インターフェースのみを介して、各分類器をブラックボックスとして扱い、異種の事前学習済み分類器を統合的に最適化可能にする。
• クロスタスクフィードバックを活用することで、物体の把持や物体探索といった実世界のロボティクスアプリケーションのパフォーマンスを向上させる。
• すべてのサブタスクが各サンプルにラベル付けされていないデータセットでも学習可能であり、異種のデータに対してスケーラビリティを高める。

提案手法

• 最初の段階の分類器の出力を第二段階の入力として入力する二段階の段階的分類器アーキテクチャを設計する。
• トレーニング中に、後続の分類器が、共同パフォーマンスに重要または無視できる誤差モードを示すことで、先行の分類器をガイドするフィードバック機構を導入する。
• 最初の段階の出力を潜在変数として扱い、フィードバック駆動型損失関数を用いて全サブタスクを同時に最適化する反復的トレーニングアルゴリズムを用いる。
• 各分類器に独立したトレーニングデータセットを用いることを可能にし、異種で部分的にラベル付けされたデータにスケーラブルに拡張できる。
• 各分類器をブラックボックスとして保持し、内部構造を変更せず、入出力インターフェースのみを学習可能にするインターフェースを必要とする。
• フィードバック機構により、例えばシーン分類の向上に寄与するように、スカイ領域における深度推定の誤差補正を優先するなど、下流タスクに有益なタスク固有の誤差モードに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 内部構造を変更せずに、後続の分類器からのフィードバックが段階的モデルにおける先行分類器のパフォーマンスを向上させられるか。
• RQ2 個々の分類器を独立して学習するのと比較して、複数のシーン理解タスクを統合的に最適化することで、パフォーマンスはどの程度向上するか。
• RQ3 フィードバック機構は、共同パフォーマンスに最も寄与するタスク固有の誤差モードに分類器を焦点を当てるのにどの程度有効か。
• RQ4 提案手法は、把持や物体探索といった実世界のロボティクスタスクに適用可能であり、限られたトレーニングデータでも耐性を高めるか。
• RQ5 すべてのサンプルにすべてのサブタスクのラベルが付与されていない異種データセットに対しても、FE-CCMフレームワークはスケーラブルか。

主な発見

• FE-CCMは、深度推定、物体検出、シーン分類、イベント分類、幾何的ラベル付け、顕著性検出の6つのシーン理解タスクすべてで顕著なパフォーマンス向上を達成した。
• 把持タスクにおけるグリップポイント検出では、FE-CCMが92.2%の正確度を達成し、ベースライン（87.7%）およびCCM（90.5%）を上回った。
• 把持タスクにおける物体分類では、FE-CCMが49.7%の正確度に達し、ベースライン（45.8%）およびCCM（49.5%）を顕著に上回った。
• 物体探索ロボット実験では、FE-CCMがシーン分類および幾何的レイアウトのフィードバックを活用し、たった86枚の正例画像でのみ、頑健な靴検出を実現した。
• フィードバック機構により、モデルが自動的に意味のあるタスク関係を学習でき、例えばシーン分類の向上に寄与するようにスカイ領域における深度推定の優先度を高めた。
• 不完全なラベルが付与されたデータセットを用いた学習においても、個々の分類器の再トレーニングを必要とせず、スケーラビリティを示した。