[論文レビュー] Information Pursuit: A Bayesian Framework for Sequential Scene Parsing

Ehsan Jahangiri, Erdem Yörük+3 more|arXiv (Cornell University)|Jan 9, 2017

Anomaly Detection Techniques and Applications参考文献 3被引用数 7

ひとこと要約

本稿では、文脈的オブジェクト関係を深層学習ベースの認識に統合するベイジアンフレームワーク「インフォメーション・プルーリング」を提案する。段階的な質問選択により、全シーン解釈との相互情報量を最大化することで、空間的配置および3次元幾何学に関する学習済み事前分布を用いてオブジェクト検出を改善し、合成学習データを用いたダイニングルームテーブルシーンのパースィングで高い精度を達成した。

ABSTRACT

Despite enormous progress in object detection and classification, the problem of incorporating expected contextual relationships among object instances into modern recognition systems remains a key challenge. In this work we propose Information Pursuit, a Bayesian framework for scene parsing that combines prior models for the geometry of the scene and the spatial arrangement of objects instances with a data model for the output of high-level image classifiers trained to answer specific questions about the scene. In the proposed framework, the scene interpretation is progressively refined as evidence accumulates from the answers to a sequence of questions. At each step, we choose the question to maximize the mutual information between the new answer and the full interpretation given the current evidence obtained from previous inquiries. We also propose a method for learning the parameters of the model from synthesized, annotated scenes obtained by top-down sampling from an easy-to-learn generative scene model. Finally, we introduce a database of annotated indoor scenes of dining room tables, which we use to evaluate the proposed approach.

研究の動機と目的

• 現在の深層学習モデルがしばしば捉えきれない、シーンパースィングにおけるオブジェクトインスタンス間の文脈的関係を統合する課題に対処すること。
• 高レベル分類器の出力を段階的に活用してシーン解釈を順次精緻化する、クエリ駆動型のアプローチを開発すること。
• 合成されたアノテート済みシーンから、オブジェクト配置の構造的事前モデルを学習し、一般化性能を向上させること。
• 各ステップで情報量の増加を最大化する情報豊富な質問を選択することで、粗いものから細かいものへのシーン理解を可能にすること。
• エンドツーエンドの深層学習とモデルベース推論のギャップを埋めるために、意味的変数をベイジアン推論フレームワークに直接埋め込むこと。

提案手法

• 潜在変数（annobits）が意味的オブジェクトの存在と姿勢を表すベイジアンモデルを用い、これらは訓練済みの高レベル分類器（例：CNN）と一対一に対応する。
• 1次元のホモグラフィーとマルコフ確率場（MRF）を用いて3次元シーン幾何学および2次元空間的関係を事前モデルで表現する一方、よりモジュール化された属性付きグラフモデルを用いて効率的なデータ合成を実現する。
• データモデルは、annobitsが与えられたときの分類器出力の条件付き分布を捉え、深層ネットワークからのノイズの多い応答をモデル化する。
• フレームワークは、期待される回答と全シーン解釈との間の相互情報量を最大化することで、次の質問（クエリ）を選択し、最適な情報量の獲得を保証する。
• パラメータは、属性付きグラフモデルを用いて生成された合成アノテート済みシーンから学習され、弱教師付きの事前学習信号として機能する。
• 姿勢分布は、角度および相対的距離の両方に対して、ボン・ミーゼス分布およびベータ分布を用いてモデル化し、オブジェクトカテゴリおよびテーブル幾何学に基づく制約を設ける。

実験結果

リサーチクエスチョン

• RQ1 文脈的オブジェクト関係は、段階的でクエリ駆動型のシーンパースィングフレームワークにおいて、どのように効果的にモデル化可能か？
• RQ2 シーン解釈の過程で、情報量の増加を最大化するための最適な質問選択戦略は何か？
• RQ3 深層学習と構造的事前モデルを統合したハイブリッドベイジアンフレームワークは、独立したオブジェクト検出を上回るシーンパースィング精度を実現できるか？
• RQ4 合成されたアノテート済みデータから、オブジェクト配置の事前モデルをどのように効率的に学習できるか？
• RQ5 空間的および幾何的事前モデルを組み込むことで、オブジェクト検出の曖昧さはどの程度低減され、シーン解釈の整合性はどのように向上するか？

主な発見

• 提案されたインフォメーション・プルーリングフレームワークは、オブジェクト間の文脈的関係を活用することで、誤検出の低減および一貫性のない検出の是正を実現し、シーンパースィング精度の向上を達成した。
• 相互情報量に基づくクエリ選択戦略は、1クエリあたりの情報量の増加を顕著に向上させ、正確な解釈への収束を迅速にした。
• 属性付きグラフモデルから得た合成学習データは、限られた実データのアノテーションがある状況下でも、より複雑なホモグラフィーに基づく事前モデルのパラメータ学習を効果的に可能にした。
• 分類器に対応する直接的な意味的潜在変数（annobits）の使用により、深層学習出力を構造的なベイジアンフレームワークに洗練された形で統合できるようになった。
• フレームワークはダイニングルームテーブルシーンにおいても高い頑健性を示し、複数の食器やグラスを含む複雑な配置（例：食器の配置）を一貫した空間的構成で正しくモデル化できた。
• 少数の的を射ねた質問を用いてオブジェクトの姿勢と空間的関係を推論できる能力は、効率的でインタラクティブなシーン理解の強力な可能性を示している。