[論文レビュー] Beyond Holistic Object Recognition: Enriching Image Understanding with Part States

Cewu Lu, Hao Su+4 more|arXiv (Cornell University)|Dec 15, 2016

Advanced Image and Video Retrieval Techniques被引用数 7

ひとこと要約

本稿では、物体部品を機能性、アフォーダンス、相互作用といった離散的意味的状態としてモデル化することで、画像理解を豊かにする新しいフレームワークを提案する。RGB-S入力（RGB画像＋部品セグメンテーションマップ）を用いた反復的ニューラルネットワークにより、部品の状態を同時に予測し、部品の局所化を改善する。この手法は、部品状態予測および視覚的関係認識において最先端の性能を達成し、部品レベルの意味情報が高レベルのビジョンタスクを顕著に向上させることを示している。

ABSTRACT

Important high-level vision tasks such as human-object interaction, image captioning and robotic manipulation require rich semantic descriptions of objects at part level. Based upon previous work on part localization, in this paper, we address the problem of inferring rich semantics imparted by an object part in still images. We propose to tokenize the semantic space as a discrete set of part states. Our modeling of part state is spatially localized, therefore, we formulate the part state inference problem as a pixel-wise annotation problem. An iterative part-state inference neural network is specifically designed for this task, which is efficient in time and accurate in performance. Extensive experiments demonstrate that the proposed method can effectively predict the semantic states of parts and simultaneously correct localization errors, thus benefiting a few visual understanding applications. The other contribution of this paper is our part state dataset which contains rich part-level semantic annotations.

研究の動機と目的

• 全体的物体認識の限界を克服するため、より細かい意味的状態（機能性、アフォーダンス、相互作用など）を物体部品にモデル化することで、視覚的理解を向上させること。
• 人間のアノテーターが提供した自然言語記述に基づき、物体中心の離散的語彙（例：'手が持つ'、'ドアノブを回す'）として部品状態を定義すること。
• 反復的リファインメントを通じて、部品状態の予測と部品局所化の誤りを是正するディープラーニングモデルを開発すること。
• 15の物体カテゴリに対してピクセル単位の部品ラベルと部品状態アノテーションを備えた新規データセットを用いて、手法のベンチマークを実施すること。
• 部品状態が視覚的関係認識のような高レベルのビジョンタスクにおいてどのように有用であるかを示すこと。

提案手法

• Sは部品セグメンテーション画像を表すRGB-S入力表現を採用し、全体的物体の文脈と局所化された部品情報の両方を統合する。
• 部品セグメンテーションマップと部品状態予測を交互に最適化することで誤差を最小化する、反復的部品状態推論ネットワークを提案する。
• 部品状態の事前知識を活用して、部品境界のリファインメントを促進し、セグメンテーションと意味的予測の両方の精度を向上させる。
• 部品状態は、人間がアノテートしたフレーズ記述（例：'持つ'、'押す'）から導出された離散的意味トークンとして定義され、各物体カテゴリごとに管理可能な語彙を形成する。
• 学習を簡素化するために、非ターゲットオブジェクトを'sth'（何か他のもの）として参照する'何か他のもの'トリックを適用する。
• 視覚的関係予測のため、部品状態ベクトル（長さ72にパディング）を連結し、SVMを用いて分類する。先行手法とのファージョンを実施する。

実験結果

リサーチクエスチョン

• RQ1 離散的部品状態は、形状を超えてアフォーダンス、機能性、相互作用といった豊かな意味的情報を効果的に捉えることができるか？
• RQ2 部品状態と部品局所化の共同予測は、両タスクのパフォーマンスを向上させることができるか？
• RQ3 提案された反復的ネットワークは、部品状態の監視情報を用いて部品セグメンテーションをどれほど効果的にリファインできるか？
• RQ4 全体的物体レベル特徴と比較して、部品状態は視覚的関係認識を向上させることができるか？
• RQ5 '何か他のもの'トリックは、意味的冗長性を低減しつつも、重要な関係性を保持するのに有効であるか？

主な発見

• 提案手法は、全体的物体特徴に依存するベースライン手法と比較して、視覚的関係認識で12 mAPの向上を達成した。
• 反復的部品状態推論ネットワークは、部品局所化の誤差を顕著に低減するとともに、部品状態予測の精度も向上させた。
• 部品状態予測においてベースラインを上回り、質的評価でも、たとえば体幹のような難しい部品に対しても正確なセグメンテーションと意味ラベル付けが可能であることが示された。
• 部品状態の使用により、'手が電話をもつ'のような明示的な相互作用のモデリングが可能となり、全体的特徴だけでは捉えきれない関係性を表現できるようになった。
• カテゴリに依存しないモデルではmAPが8%低下したため、最適なパフォーマンスを得るには、カテゴリに特化したモデリングが現在では必要であることが示された。
• 反復処理の理論的停止基準が欠如している点は制限要因であるが、反復処理は段階的改善を示している。