[論文レビュー] Introduction to the 1st Place Winning Model of OpenImages Relationship Detection Challenge

Ji Zhang, Kevin J. Shih+3 more|arXiv (Cornell University)|Nov 1, 2018

Multimodal Machine Learning Applications参考文献 5被引用数 6

ひとこと要約

この論文は、OpenImages Visual Relationship Detection Challengeで1位を獲得したモデルを提示する。言語バイアスベースラインと空間的・視覚的特徴の統合を組み合わせており、実験的述語分布、空間的ボックスデルタ、ROIアラインド特徴からの視覚的特徴を活用することで、意味的・空間的・視覚的ブランチのモジュラで加法的な統合により、検証で45.14 mAP、公開テストで33.21 mAPの最先端性能を達成した。

ABSTRACT

This article describes the model we built that achieved 1st place in the OpenImage Visual Relationship Detection Challenge on Kaggle. Three key factors contribute the most to our success: 1) language bias is a powerful baseline for this task. We build the empirical distribution $P(predicate|subject,object)$ in the training set and directly use that in testing. This baseline achieved the 2nd place when submitted; 2) spatial features are as important as visual features, especially for spatial relationships such as "under" and "inside of"; 3) It is a very effective way to fuse different features by first building separate modules for each of them, then adding their output logits before the final softmax layer. We show in ablation study that each factor can improve the performance to a non-trivial extent, and the model reaches optimal when all of them are combined.

研究の動機と目的

• OpenImagesチャレンジ向けに、空間的および意味的関係を含む主語-述語-目的語の三つ組を予測するという複雑さに対処する高精度な視覚的関係検出モデルの開発。
• 訓練データにおける述語の限られた偏りのある分布を考慮し、言語バイアスが視覚的関係検出において強力なベースラインとして有効であるかの調査。
• 特に「下に」「～の中に」などの空間的関係を予測する際、相対的なボックス座標がどの程度効果的であるかの評価。
• エンドツーエンドの共同学習を伴わずに、意味的・空間的・視覚的特徴をモジュラで加法的に統合する戦略の設計。
• 言語バイアス、空間符号化、視覚的特徴学習の3要素を統合することで最適な性能を達成すること。

提案手法

• モデルは2段階のアプローチを採用する：事前学習済み検出器（f_det）による物体検出の後、検出された主語および目的語の特徴を用いて関係分類（f_rel）を実行。
• 意味的モジュールは、訓練データから得られる経験的分布P(述語|主語,目的語)を用い、関係構成における言語的バイアスを捉える強力なベースラインを提供。
• 空間的モジュールは、ボックスデルタΔ(b_S, b_O)と正規化された座標c(b)を用いて相対的なボックス位置を符号化し、「上に」や「下に」などの空間的述語の正確な予測を可能にする。
• 視覚的モジュールは、主語および目的語領域からのROIアラインド特徴を2層の全結合ネットワークで処理し、外見に基づく関係を捉えるために、主語・目的語専用の予測分岐も追加。
• 最終的な関係スコアは、意味的・空間的・視覚的モジュールのログィットを合算した後、ソフトマックスを適用することで算出され、効果的な加法的特徴統合が実現される。
• 'is'関係（属性予測）のため、オブジェクト候補に対して別途Fast-RCNNベースのモデルを訓練し、属性分布を予測。

実験結果

リサーチクエスチョン

• RQ1 経験的述語頻度に基づく言語バイアスベースラインは、視覚的関係検出においてどの程度有効か？
• RQ2 ボックスデルタと正規化された座標によって符号化された空間的特徴は、空間的関係の予測性能をどの程度向上させるか？
• RQ3 意味的・空間的・視覚的特徴のモジュラで加法的な統合は、エンドツーエンド学習や要素ごとの統合を上回る性能を達成できるか？
• RQ4 各コンポーネント（言語バイアス、空間的、視覚的）が全体の性能にどの程度寄与しているか、またそれらの相互作用はいかなるものか？
• RQ5 オブジェクト検出器の微調整なしに、シンプルなベースラインに補完的特徴を組み合わせることで最先端の結果を達成できるか？

主な発見

• 言語バイアスベースライン単体で22.21 mAPを達成し、公開テストセットで2位を獲得した。これは、視覚的関係検出において言語的事前知識が強い予測力を持つことを示している。
• 視覚的モジュールを追加することで、mAP_relはベースラインの26.54から34.16に向上した。これは、「遊ぶ」や「着る」などの空間的でない関係において、外見的特徴が極めて重要であることを示している。
• 空間的特徴を統合したことで、mAP_relは34.16から34.96に、mAP_phrは39.59から40.70に上昇した。これは、空間的述語の予測に空間符号化が不可欠であることを確認した。
• 意味的・空間的・視覚的特徴に加え、主語・目的語固有の予測を含む完全なモデルは、検証で45.14 mAP、公開テストで33.21 mAPを達成し、1位を獲得した。
• アブレーションスタディの結果、各コンポーネントが非自明に寄与しており、ベースラインから最も大きな向上をもたらしたのは視覚的および空間的特徴であった。
• 複雑なシーンにおいて、複数のインスタンスが存在する状況でも、どの人物がどの馬の上にいるかを正しく特定する能力を示した。