[論文レビュー] NODIS: Neural Ordinary Differential Scene Understanding

Yuren Cong, Hanno Ackermann+3 more|arXiv (Cornell University)|Jan 14, 2020

Multimodal Machine Learning Applications参考文献 51被引用数 5

ひとこと要約

NODISは、エンド・トゥ・エンド学習を介して物体および関係分類を解決するため、シーングラフ生成をニューラル常微分方程式（ODE）として定式化する画期的なニューラルアーキテクチャを提案する。混合整数線形計画法（MILP）をODEとして解釈することで、画像固有の割り当て関数を学習し、一般化性能の向上と直感的な時間的ダイナミクスの解釈を実現した。このアプローチにより、シーングラフ生成、分類、視覚的関係検出のベンチマークで最先端の性能を達成した。

ABSTRACT

Semantic image understanding is a challenging topic in computer vision. It requires to detect all objects in an image, but also to identify all the relations between them. Detected objects, their labels and the discovered relations can be used to construct a scene graph which provides an abstract semantic interpretation of an image. In previous works, relations were identified by solving an assignment problem formulated as Mixed-Integer Linear Programs. In this work, we interpret that formulation as Ordinary Differential Equation (ODE). The proposed architecture performs scene graph inference by solving a neural variant of an ODE by end-to-end learning. It achieves state-of-the-art results on all three benchmark tasks: scene graph generation (SGGen), classification (SGCls) and visual relationship detection (PredCls) on Visual Genome benchmark.

研究の動機と目的

• 従来の（混合）整数線形計画法（MILP）が固定された目的関数を必要とし、エンド・トゥ・エンド学習ができないという、シーングラフ生成における限界を解消すること。
• MILPに基づく割り当て問題を学習可能なニューラルODEに再定式化することで、データに適応する微分可能で効果的なシーングラフ推論を可能にすること。
• ODEの時間変数が物体および関係分類に与える役割を直感的に説明可能な視覚的解釈を提供すること。
• シーングラフ生成（SGGEN）、シーングラフ分類（SGCLS）、視覚的関係検出（PREDCLS）の複数のベンチマークタスクで最先端の性能を達成すること。

提案手法

• 離散的で多層構造の埋め込みネットワークを、埋め込み多様体上で滑らかな軌道を学習する連続的ODEベースのモジュールに置き換える。
• 物体および関係分類の割り当て問題をニューラルODEとして定式化し、解のプロセス全体に逆誤差伝搬が可能になるようにする。
• 学習可能なベクトル場を用いてODEモジュールをエンド・トゥ・エンドで学習させ、各画像に応じて目的関数を適応的に変更可能にする。
• ODEにおける時間変数を、分類対象の物体および関係の数を制御するパラメータとして解釈し、時間の経過に伴う予測の精錬が可視化されている。
• 2つの変種を用いる：物体分類用のO-ODEと関係予測用のP-ODEで、P-ODEはすべての物体ペアを処理する。
• モデルはVisual Genomeベンチマークで学習され、Recall@KやRe@50といった標準指標を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 ニューラルODEは、シーングラフ生成における画像固有の割り当て問題を効果的に学習できるか？
• RQ2 ODEにおける時間変数は、物体および関係の分類にどのように影響を与えるか？
• RQ3 微分可能で学習可能なODEベースのモジュールは、従来の離散的MILPソルバーを上回る性能を発揮できるか？
• RQ4 ODEの積分時間の影響は、モデルの性能および一般化能力にどのような影響を与えるか？
• RQ5 ODEベースのアーキテクチャは、内部ダイナミクスの直感的な視覚的説明を提供できるか？

主な発見

• 本モデルは、すべての3つのベンチマークタスク（シーングラフ生成（SGGEN）、シーングラフ分類（SGCLS）、視覚的関係検出（PREDCLS））で最先端の性能を達成した。
• SGCLSタスクでは、既存の最先端手法よりも2%〜3%の性能向上を達成した。
• ODEの最適な積分時間は1.5であると判明し、それ以上になると外挿誤差により性能が低下した。
• 積分時間が0.05から3.00に増加するに従い、関数評価回数（NFE）は8.0から26.2に増加し、段階的な精錬が確認された。
• P-ODEレイヤーは、物体ペアの数が多いことからO-ODEレイヤーよりも著しく遅いが、両者ともに顕著な性能向上を示した。
• 可視化結果から、時間変数を増加させることで、物体および関係の予測がより精錬されることが確認され、t=1.5を超えると過学習や誤検出が顕在化した。