[論文レビュー] Object Relation Detection Based on One-shot Learning

Li Zhou, Jian Zhao+3 more|arXiv (Cornell University)|Jul 16, 2018

Multimodal Machine Learning Applications参考文献 21被引用数 14

ひとこと要約

本論文では、オブジェクト関係検出のためのセマンティクス誘導型ラーナー（SIL）モデルを提案する。このモデルは、オブジェクト関係の長尾分布と高い組み合わせ的複雑さに対処するためにワンショット学習を活用する。ボトムアップのFaster R-CNNによるオブジェクト候補と、意味的依存関係によってガイドされるトップダウンのアテンション機構を組み合わせることで、SILは少ないショットでの述語分類を可能にし、VRDおよびVisual Genomeデータセットで最先端の性能を達成する。

ABSTRACT

Detecting the relations among objects, such as "cat on sofa" and "person ride horse", is a crucial task in image understanding, and beneficial to bridging the semantic gap between images and natural language. Despite the remarkable progress of deep learning in detection and recognition of individual objects, it is still a challenging task to localize and recognize the relations between objects due to the complex combinatorial nature of various kinds of object relations. Inspired by the recent advances in one-shot learning, we propose a simple yet effective Semantics Induced Learner (SIL) model for solving this challenging task. Learning in one-shot manner can enable a detection model to adapt to a huge number of object relations with diverse appearance effectively and robustly. In addition, the SIL combines bottom-up and top-down attention mech- anisms, therefore enabling attention at the level of vision and semantics favorably. Within our proposed model, the bottom-up mechanism, which is based on Faster R-CNN, proposes objects regions, and the top-down mechanism selects and integrates visual features according to semantic information. Experiments demonstrate the effectiveness of our framework over other state-of-the-art methods on two large-scale data sets for object relation detection.

研究の動機と目的

• 長尾分布と高い組み合わせ的複雑さに起因する、多様でまれなオブジェクト関係の検出の課題に対処すること。
• 主語、対象、述語の間の意味的依存関係をモデル化することで、関係におけるクラス内ばらつきを克服すること。
• 述語分類のためのワンショット学習を可能にすることで、関係検出における少しだけの一般化性能を向上させること。
• ボトムアップの視覚的アテンションとトップダウンの意味的ガイドを統合することで、より正確な関係の局所化と分類を実現すること。
• 統合された検出フレームワーク内で意味的事前知識を活用することで、大規模なアノテート済みデータに依存するのを減らすこと。

提案手法

• フレームワークは、主語および対象のための領域候補を生成するためにボトムアップのオブジェクト検出器としてFaster R-CNNを使用する。
• セマンティクス誘導型ラーナー（SIL）モジュールは、主語および対象のカテゴリを用いて特徴選択と特徴統合を実行することで、トップダウンのアテンションを統合する。
• SILモデルは、主語および対象のカテゴリの意味的埋め込みを活用することで、述語分類のためのワンショット学習を可能にする。
• 視覚的特徴は空間的および外観的表現と組み合わせられ、関係分類のための統合表現を形成する。
• モデルは二段階のアプローチを採用する：まずオブジェクトを検出し、次に意味的注意に敏感なアテンションを用いて述語を分類する。
• アブレーションスタディにより、SILモジュールを含まない制御フレームワークと比較することで、SILモジュールの必要性が確認された。

実験結果

リサーチクエスチョン

• RQ1 ワンショット学習は、長尾分布を示すデータセットにおけるレアなオブジェクト関係の検出を改善できるか？
• RQ2 主語、対象、述語の間の意味的依存関係を組み込むことで、関係分類の正確性はどのように向上するか？
• RQ3 意味的にガイドされたトップダウンのアテンション機構は、純粋にボトムアップのアプローチと比較して、どの程度性能を向上させるか？
• RQ4 オブジェクト検出と述語分類を分離することで、エンドツーエンドの統合モデリングと比較して、より良い一般化性能が得られるか？
• RQ5 同じ述語でも異なる主語／対象を有する関係のクラス内ばらつきを、提案されたフレームワークはどの程度効果的に処理できるか？

主な発見

• Visual Relationship Dataset（VRD）では、提案されたフレームワークが述語分類でRecall@50およびRecall@100の両方で56.56%を達成し、制御フレームワーク（Recall@50が46.60%）を顕著に上回った。
• Visual Genome（VG）データセットでは、フレームワークが述語分類でRecall@50およびRecall@100の両方で68.63%を達成し、制御ベースラインの52.13%を上回った。
• アブレーションスタディにより、SILモジュールを削除すると、すべてのタスクで顕著な性能低下が生じ、その有効性が裏付けられた。
• 特に珍しい関係の検出において、ワンショット学習の能力と意味的アテンション機構のおかげで、最先端の手法を上回った。
• アテンション機構に意味的情報を統合することで、外観的および空間的特徴のみを用いても、述語分類の性能が向上した。
• 結果から、意味的依存関係が、たとえば「ride」と「sit on」のような意味的に類似した関係を、異なる主語・対象の文脈で区別するために不可欠であることが示された。