[論文レビュー] Lift-the-Flap: Context Reasoning Using Object-Centered Graphs.

Mengmi Zhang, Jiashi Feng+4 more|arXiv (Cornell University)|Feb 1, 2019

Multimodal Machine Learning Applications参考文献 27被引用数 3

ひとこと要約

本稿では、オブジェクト中心のグラフを用いてシーンの文脈を推論し、自然画像におけるフラップの背後に隠されたオブジェクトを同定する計算モデルLift-the-Flapを紹介する。グラフニューラルネットワークと強化学習を組み合わせることで、文脈に配慮したオブジェクト推論および視覚的推論・プリミングタスクにおいて、ベースラインおよび人間のベンチマークを上回る性能を示し、優れた視覚的推論性能を発揮している。

ABSTRACT

Children benefit from lift-the-flap books by taking on an active role in guessing what is behind the flap based on the context. In this paper, we introduce lift-the-flap games for computational models. The task is to reason about the scene context and infer what the target behind the flap is in a natural image. Context reasoning is critical in many computer vision applications, such as object recognition and semantic segmentation. To tackle this problem, we propose an object-centered graph representing the scene configuration of the image where each node corresponds to a group of objects belonging to the same category. To infer the target's class label, we introduce an object-centered graph network model consisting of two sub-networks. The classification sub-network takes the complete graph as input and outputs a classification vector assigning the probability for each class. The reinforcement learning sub-network exploits the class label dependencies and learns the joint probability among objects in order to generate multiple reasonable answers for the missing target. To evaluate our model's performance, we carry out human behavioral experiments for lift-the-flap games as a benchmark. Our model makes reasonable inferences compared to humans, and significantly outperforms all the null models. We also demonstrate the usefulness of our object-centered graph network model in context-aware object recognition and target priming in visual search.

研究の動機と目的

• 人間の文脈推論を模倣する計算モデルを開発すること、すなわち、ユーザーが視覚的文脈に基づいて隠されたオブジェクトを推論するリフト・ザ・フラップのシナリオを想定する。
• シーン内のオブジェクトカテゴリ間の関係をモデル化することで、コンピュータビジョンにおける文脈に配慮したオブジェクト認識の課題に取り組むこと。
• リフト・ザ・フラップゲームのヒューマン行動実験を用いて、視覚的推論モデルを評価するためのベンチマークを構築すること。
• オブジェクト間の文脈的依存関係を活用することで、ターゲットプリミングを用いた視覚的サーチのパフォーマンスを向上させること。
• 複数の仮説推論に適したオブジェクトクラス間の同時確率分布を捉えるグラフベースのアーキテクチャを設計すること。

提案手法

• モデルは、各ノードが同一カテゴリのオブジェクトのグループに対応するオブジェクト中心のグラフとしてシーンを表現する。
• 分類サブネットワークが全グラフを処理し、各オブジェクトカテゴリのクラス確率を出力する。
• 強化学習サブネットワークがクラスラベル間の依存関係を学習し、欠落したターゲットの複数の妥当な仮説を生成する。
• オブジェクト中心のグラフネットワークは、両サブネットワークを統合し、オブジェクト配置を共同で推論し、隠れたオブジェクトを同定する。
• モデルは、実世界の画像から抽出されたリフト・ザ・フラップゲームのヒューマンアノテートベンチマークを用いて訓練および評価される。
• フレームワークは、文脈に配慮したオブジェクト認識および視覚的サーチプリミングに応用され、コアタスクを超えた一般化性能を示している。

実験結果

リサーチクエスチョン

• RQ1 計算モデルは、シーンの文脈を用いてフラップの背後に隠されたオブジェクトの正体をどれほど正確に推論できるか？
• RQ2 オブジェクト中心のグラフ表現は、視覚的推論のためのオブジェクトカテゴリ間の関係を効果的にモデル化できるか？
• RQ3 強化学習とグラフネットワークの統合は、欠落オブジェクトの複数仮説予測を向上させるか？
• RQ4 モデルのパフォーマンスは、リフト・ザ・フラップ推論タスクにおいて人間のパフォーマンスと比べてどの程度か？
• RQ5 モデルは、文脈に配慮したオブジェクト認識および視覚的サーチのターゲットプリミングをどの程度向上できるか？

主な発見

• モデルは、すべてのノンモデルに対して、リフト・ザ・フラップ推論タスクで顕著な性能向上を達成し、強固な文脈理解を示している。
• モデルは、オブジェクトクラス間の同時確率分布を反映した、複数の妥当な仮説を生成する。
• ヒューマン行動実験により、モデルの推論が人間のパフォーマンスと定性的・定量的に同等であることが確認された。
• オブジェクト中心のグラフ表現は、シーンの構成を効果的に捉え、隠れたオブジェクトの正確な推論を支援する。
• モデルは、文脈に配慮したオブジェクト認識および視覚的サーチのターゲットプリミングのパフォーマンスを向上させ、その広範な適用可能性を裏付けた。
• 強化学習サブネットワークは、ラベル間の依存関係を効果的に学習し、ベースラインモデルよりも一貫性があり、より現実的な予測を可能にした。