[論文レビュー] Joint Learning of Set Cardinality and State Distribution

S. Hamid Rezatofighi, Anton Milan+3 more|arXiv (Cornell University)|Sep 13, 2017

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、1つのエンドツーエンドネットワークを用いて、集合の基数と状態分布を同時に予測する共同ディープラーニングフレームワークを提案する。ディリクレ-カテゴリカル損失を活用することで、原理的かつ順列不変な集合予測が可能となる。本手法は、PASCAL VOCおよびMS COCOデータセットにおいて、基数推定誤差を低減し、先行研究を上回る最先端の性能を達成した。

ABSTRACT

We present a novel approach for learning to predict sets using deep learning. In recent years, deep neural networks have shown remarkable results in computer vision, natural language processing and other related problems. Despite their success, traditional architectures suffer from a serious limitation in that they are built to deal with structured input and output data, i.e. vectors or matrices. Many real-world problems, however, are naturally described as sets, rather than vectors. Existing techniques that allow for sequential data, such as recurrent neural networks, typically heavily depend on the input and output order and do not guarantee a valid solution. Here, we derive in a principled way, a mathematical formulation for set prediction where the output is permutation invariant. In particular, our approach jointly learns both the cardinality and the state distribution of the target set. We demonstrate the validity of our method on the task of multi-label image classification and achieve a new state of the art on the PASCAL VOC and MS COCO datasets.

研究の動機と目的

• 従来のディープラーニングモデルが固定サイズかつ順序付き出力を仮定しているという制限に対処すること。これは、集合として自然にモデル化される問題には不適切である。
• 基数（要素数）と状態（要素の分布）の両方を別々の独立したネットワークではなく、統合的なフレームワークで同時に学習する。
• 有限集合統計と点過程に基づく原理的確率的定式化のもとで、MAP推定を用いた最適な共同推論を可能にする。
• 基数予測と状態予測のコンポonent間でパラメータを共有することで、モデルの複雑さを低減し、一般化性能を向上させる。
• 本手法の有効性を、特にマルチラベル画像分類を含む実世界の集合予測タスクにおいて実証する。

提案手法

• モデルは、1つの共有重みのディープニューラルネットワークを用いて、ターゲット集合の基数と状態分布を同時に予測する。
• 出力集合の予測を有限集合統計の問題として定式化し、ディリクレ-カテゴリカル事前分布を用いて、基数と状態の同時分布をモデル化する。
• 基数と状態予測を同時に最適化するための新規なディリクレ-カテゴリカル（DC）損失を導入し、独立した損失関数の代わりに使用する。
• 推論ステップでは、全集合空間におけるMAP推定を実行し、1回の最適なステップで最も確率の高い集合を生成する。
• フレームワークはエンドツーエンドで学習可能であり、出力が本質的に順列不変であるため、設計上順列不変性を保つ。
• RNNベース、ソフトマックス、バイナリクロスエントロピーのベースラインと比較して、PASCAL VOCおよびMS COCOなどの標準ベンチマークを用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、別々のネットワークや逐次的推論を必要とせず、基数と状態分布を共同かつエンドツーエンドで学習できるか？
• RQ2 基数と状態分布の共同学習は、独立した学習と比較して、予測精度を向上させ、誤差を低減するか？
• RQ3 提案されたディリクレ-カテゴリカル損失は、バイナリクロスエントロピーまたはネガティブバイノミアル損失と比較して、集合予測タスクでどの程度優れているか？
• RQ4 全集合空間における共同MAP推定は、ヒューリスティックなトップ-k選択や逐次的生成と比較して、より優れた結果をもたらすか？
• RQ5 本フレームワークは、マルチラベル画像分類などの実世界の集合予測問題に一般化可能であり、最先端の性能を達成できるか？

主な発見

• BCE-DC損失を用いた提案された共同集合ニューラルネットワーク（JDS）は、PASCAL VOCで平均絶対基数誤差0.31±0.54を達成し、基数を独立に学習する場合の0.33±0.53よりもわずかに優れた性能を示した。
• PASCAL VOCデータセットでは、JDS（BCE-DC）モデルが、前回の最先端のディープセットネットワークを含め、すべてのF1スコア指標でベースラインを上回った。
• MS COCOデータセットでは、JDS（BCE-DC）モデルがインスタンスF1スコア75.6を達成し、次に良い手法（74.6）を上回り、新たな最先端を樹立した。
• 図3の定性的な結果から、JDSアプローチはベースラインモデルと比較して、誤検出と基数誤差の両方を低減していることが示された。
• 共同定式化により、1回の学習ステップで最終モデルが得られたのに対し、従来の手法では基数と状態予測のための2つの別々のVGGネットワークの学習が必要であった。
• 分類と基数推定の両方で一貫した改善が確認され、共同最適化と共有パラメータ学習の利点が裏付けられた。