[論文レビュー] Learning in an Uncertain World: Representing Ambiguity Through Multiple Hypotheses

Christian Rupprecht, Iro Laina+5 more|arXiv (Cornell University)|Dec 1, 2016

Anomaly Detection Techniques and Applications参考文献 41被引用数 33

ひとこと要約

本論文は、単一予測の深層学習モデルを再定式化し、複数の妥当な仮説を出力できる一般化されたフレームワーク（MHP）を提案する。新規のメタ損失関数を用いて、標準的なバックプロパゲーションによるエンドツーエンド学習を可能にした。MHPモデルは、人体ポーズ推定、未来予測、画像分類、セグメンテーションなど多様なタスクで単一仮説ベースラインを上回る性能を示し、出力空間におけるボロノイタイルレーションを用いて予測のばらつきを露わにする。

ABSTRACT

Many prediction tasks contain uncertainty. In some cases, uncertainty is inherent in the task itself. In future prediction, for example, many distinct outcomes are equally valid. In other cases, uncertainty arises from the way data is labeled. For example, in object detection, many objects of interest often go unlabeled, and in human pose estimation, occluded joints are often labeled with ambiguous values. In this work we focus on a principled approach for handling such scenarios. In particular, we propose a framework for reformulating existing single-prediction models as multiple hypothesis prediction (MHP) models and an associated meta loss and optimization procedure to train them. To demonstrate our approach, we consider four diverse applications: human pose estimation, future prediction, image classification and segmentation. We find that MHP models outperform their single-hypothesis counterparts in all cases, and that MHP models simultaneously expose valuable insights into the variability of predictions.

研究の動機と目的

• ラベルの曖昧さやマルチモーダルな結果が生じるような、複数の妥当な予測が存在する視覚タスクにおける不確実性に対処すること。
• 複数のモードを平均化するため、ぼやけたまたは現実的でない予測を生じる単一仮説モデルの限界を克服すること。
• アーキテクチャの大幅な見直しが不要な、さまざまなアーキテクチャおよび損失関数に適用可能な一般化可能で後から適用可能なフレームワークを提供すること。
• 予測の分散を露わにすることで、不確実な状況下でのモデルの解釈可能性と耐性を向上させること。
• 回帰、分類、セグメンテーションを含む多様なタスクで一貫した性能向上を実証すること。

提案手法

• 入力ごとにM個の仮説を予測する複数仮説予測（MHP）モデルに、単一出力モデルを再定式化する。
• 出力空間にボロノイタイルレーションを誘導するメタ損失関数を導入し、条件付き出力分布の区分的定数近似を最小化する。
• メタ損失におけるハードアサインメントの微分可能緩和を用いて、バックプロパゲーションによる勾配ベース最適化を可能にする。
• 確率的勾配降下法とバックプロパゲーションを用いた標準的なディープラーニングパイプラインでMHPモデルを学習する。共有エンコーダアーキテクチャを採用する。
• 最小限のアーキテクチャ変更で、回帰（例：未来フレーム予測）、分類（例：Pascal VOC、COCO）、セグメンテーション（例：FCN-8s）にこのフレームワークを適用する。
• 共有特徴抽出により仮説間の情報共有を可能にし、アンサンブル手法と比較してパラメータ数を削減する。

実験結果

リサーチクエスチョン

• RQ1 統一されたディープラーニングフレームワークは、単一出力ではなく複数の仮説を生成することで、予測の曖昧さを効果的に表現できるか？
• RQ2 固有の不確実性や曖昧なラベルが存在するタスクにおいて、MHPフレームワークは単一仮説モデルよりも性能をどのように向上させるか？
• RQ3 MHPアプローチはどの程度意味のある予測分散を露わにし、モデルの解釈性を向上させるか？
• RQ4 回帰、マルチラベル分類、セマンティックセグメンテーションを含む、さまざまなタスクにわたる一般化性はどの程度か？
• RQ5 離散的および高次元出力空間において、仮説数を増加させることの性能への影響は何か、特に高Mにおけるトレードオフは？

主な発見

• MHPモデルは、人体ポーズ推定、未来フレーム予測、マルチラベル分類、セマンティックセグメンテーションの4つの評価タスクすべてで、単一仮説ベースラインを上回る性能を示した。
• Pascal VOC 2012では、13-MHPモデルが87.0%のmAPを達成し、SHPベースラインの86.9%を上回り、MCLの平均IoU 69.1%をも上回った。
• COCOにおけるマルチラベル分類では、5-MHPモデルが67.8%のmAPを達成し、SHPベースラインの65.2%を上回り、WARP や CNN-RNN といった先行手法をも凌駕した。
• COCOでは9-MHPおよび13-MHPモデルでmAPがわずかに低下したが、これはスパースラベル状況下で過剰な仮説による誤検出が原因で、高Mにおけるトレードオフを示した。
• MHPフレームワークは、MCL（134.9M対539.6Mパラメータ）と比較して75%のパラメータ削減を達成しながら、より優れたセグメンテーション性能（平均IoU 70.3% 対 69.1%）を実現した。
• 定性的な結果から、MHPモデルは、単一クラスが支配的であっても画像内に複数のオブジェクトを特定し、多様な妥当な予測を捉えることができた。