[論文レビュー] DISCO Nets: DISsimilarity COefficient Networks

Diane Bouchacourt, Manish Kumar+1 more|arXiv (Cornell University)|Jun 8, 2016

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 3

ひとこと要約

DISCO Nets は、真の事後分布と推定事後分布の間の不一致係数を最小化することで、構造予測における不確実性をモデル化する画期的な確率的ディープラーニングフレームワークを導入する。タスク固有の損失に合わせて訓練目的を調整することで、手のポーズ推定において非確率的モデルおよび既存の確率的モデルを凌駃し、出力の不確実性を正確に捉え、最小限のアーキテクチャ制約で最先端の性能を達成する。

ABSTRACT

We present a new type of probabilistic model which we call DISsimilarity COefficient Networks (DISCO Nets). DISCO Nets allow us to efficiently sample from a posterior distribution parametrised by a neural network. During training, DISCO Nets are learned by minimising the dissimilarity coefficient between the true distribution and the estimated distribution. This allows us to tailor the training to the loss related to the task at hand. We empirically show that (i) by modeling uncertainty on the output value, DISCO Nets outperform equivalent non-probabilistic predictive networks and (ii) DISCO Nets accurately model the uncertainty of the output, outperforming existing probabilistic models based on deep neural networks.

研究の動機と目的

• データノイズや隠蔽による真の出力が曖昧な構造予測タスクにおける不確実性のモデル化の課題に対処すること。
• 効率的な事後分布サンプリングと不確実性の定量化を可能にする確率的ディープラーニングフレームワークの開発。
• タスク固有の評価損失に一致する訓練目的を可能にし、一般化性能と予測性能の向上。
• GAN や VAE などの既存モデルが要求する複雑なアーキテクチャと訓練手順の制限を克服すること。
• さまざまな予測タスクに不確実性を伴って容易に適応可能な、アーキテクチャに依存しないフレームワークの提供。

提案手法

• DISCO Nets は、真の事後分布 P をニューラルネットワークでパrameter化された分布 Q で表現する。
• モデルは、対称的かつ非負の損失関数から導かれる、P と Q 間の不一致係数を最小化することで訓練される。
• この不一致係数は Rao の研究に基づくものであり、訓練目的をタスク固有の損失関数 Δ_task に明示的に適合可能にする。
• 敵対的訓練や特定のネットワークアーキテクチャを必要としないため、広範な適用が可能である。
• Q がニューラルネットワークによって直接パラメータ化されているため、事後分布からのサンプリングが効率的に行える。
• 推論ネットワークや近似事後分布の必要がないため、バックプロパゲーションを用いたエンドツーエンドの訓練が可能である。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の不一致係数を明示的に最小化するディープラーニングモデルは、構造予測タスクにおいて非確率的モデルを凌駃できるか？
• RQ2 評価損失に合わせて訓練目的を調整することで、不確実性や曖昧な予測タスクでの性能が向上するか？
• RQ3 DISCO Nets は、深度画像からの手のポーズ推定といった現実世界のシナリオにおいて、出力の不確実性を正確にモデル化できるか？
• RQ4 予測精度と訓練安定性の観点から、cGAN や VAE などの最先端の確率的モデルと比較して、DISCO Nets はどのように異なるか？
• RQ5 アーキテクチャの変更なしに、DISCO Nets はどの程度さまざまなアーキテクチャやタスクに一般化可能か？

主な発見

• DISCO Nets は、手のポーズ推定において同等の非確率的予測ネットワークを上回り、MeJEE 20.7 ± 0.121 mm、MaJEE 45.1 ± 0.246 mm を達成した。
• 単一ネットワークアーキテクチャであるにもかかわらず、NYU-Prior-Refined（MeJEE: 19.7 ± 0.157 mm）および NYU-Feedback（MeJEE: 16.0 ± 0.096 mm）と同等の最先端の性能を達成した。
• β=1、γ=0.5 で訓練した場合、80 mm の誤差以内のフレームの割合が 93.250% に達し、NYU-Init（86.537%）および NYU-Feedback（97.334%）を上回った。
• cGAN ベースのモデルは、生成器と判別器の畳み込み層を事前学習済みの DISCO ネットで初期化し、固定した場合にのみ競争力のある結果を示した。これは、訓練の不安定性とアーキテクチャ依存性を示している。
• 標準の GAN や cGAN よりも、精度と訓練の信頼性の両面で DISCO Nets が顕著に優れており、原理的で損失に適合した目的関数の利点を示している。
• 複雑な推論ネットワークや敵対的訓練を必要としないため、既存の確率的モデルよりも効率的で、より簡単に導入可能である。