[論文レビュー] Stochastic Multiple Choice Learning for Training Diverse Deep Ensembles

Stefan Lee, Senthil Purushwalkam+4 more|arXiv (Cornell University)|Jun 24, 2016

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 30

ひとこと要約

本論文は、オракル損失を最小化するために、各モデルが異なる仮説に特化するよう促す、パラメータフリーでSGDに基づく、多様な深層ニューラルネットワークアンサンブルを訓練するためのStochastic Multiple Choice Learning (sMCL)を提案する。sMCLは、画像分類、セグメンテーション、キャプション生成のタスクにおいて、従来の手法と比較して顕著に低いオラクル誤差を達成しており、タスクの曖昧さを反映する解釈可能な多様な予測を生成する。

ABSTRACT

Many practical perception systems exist within larger processes that include interactions with users or additional components capable of evaluating the quality of predicted solutions. In these contexts, it is beneficial to provide these oracle mechanisms with multiple highly likely hypotheses rather than a single prediction. In this work, we pose the task of producing multiple outputs as a learning problem over an ensemble of deep networks -- introducing a novel stochastic gradient descent based approach to minimize the loss with respect to an oracle. Our method is simple to implement, agnostic to both architecture and loss function, and parameter-free. Our approach achieves lower oracle error compared to existing methods on a wide range of tasks and deep architectures. We also show qualitatively that the diverse solutions produced often provide interpretable representations of task ambiguity.

研究の動機と目的

• 曇った認識タスクにおいて、モードを求める、一般的な出力を生成する単一予測モデルの限界を是正すること。
• 認識システムが単一の予測ではなく、複数の妥当な仮説を生成できるようにし、人間によるレビューまたは検証などの下流プロセスにおける有用性を向上させること。
• 特にマルチモーダルまたは曖昧な状況において、高確率の予測の空間を網羅するように、深層ニューラルネットワークアンサンブルを訓練すること。
• アンサンブル設定においてオラクル損失を直接最適化できる、シンプルでアーキテクチャに依存せず、ハイパーパrameterを必要としない訓練手法を開発すること。
• 多様で複数の仮説に基づく出力が、現実世界の曇り具合をよりよく反映し、実用的システムの性能を向上させられることを示すこと。

提案手法

• オラクル損失をアンサンブル出力全体で最小化する、新しいSGDに基づく最適化戦略であるStochastic Multiple Choice Learning (sMCL)を導入する。
• 「勝者だけが勾配を更新する」メカニズムを採用し、各訓練ステップでオラクルの選択に基づき、アンサンブル内で最もパフォーマンスの良いモデルのみが重みを更新する。
• スチルティックブロック勾配降下法を適用し、再訓練や複雑なハイパーパrameterチューニングを伴わずにアンサンブルを効率的に最適化する。
• 既存の深層学習アーキテクチャに新しいsMCLレイヤーを統合することで、モデルアーキテクチャやタスク固有の損失関数に依存しない。
• 各アンサンブルメンバーが解空間の異なる領域に特化するよう促し、暗黙の競争によって多様性を促進する。
• 損失関数やアーキテクチャの変更なしに、sMCLレイヤーの追加のみで標準の訓練パイプラインと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 シンプルでハイパーパラメータを必要としない訓練手法が、深層ニューラルネットワークアンサンブルの多様性とオラクル性能を向上させられるか？
• RQ2 オラクル損失を直接最適化することで、標準的な単一出力訓練と比較して、マルチモーダルな予測のカバレッジが向上するか？
• RQ3 明示的な正則化やアーキテクチャの変更なしに、sMCLがアンサンブルメンバーに自動的に特化を促せるか？
• RQ4 sMCLは、既存のMCL手法と比較して、精度、訓練効率、予測の多様性の観点で優れているか？
• RQ5 sMCLが生成するアンサンブルは、認識タスクにおける現実の曇り具合を反映する解釈可能な、人間が理解できる仮説をどれほど生成できるか？

主な発見

• sMCLは、画像分類、セマンティックセグメンテーション、画像キャプション生成のタスクにおいて、古典的なアンサンブルや他の強力なベースライン（5倍遅いMCL手順を含む）と比較して、顕著に低いオラクル誤差を達成する。
• 本手法は、マルチモーダルな信念を反映する多様な予測を生成する。たとえば、同じ画像に対して異なるキャプション構造を生成するが、標準的なモデルは同一で一般的な出力に収束する。
• 画像キャプションタスクにおいて、sMCLアンサンブルは、標準モデルがそのようなことをできない場合でも、シーンの曇り具合を捉えた多様で内容豊富な記述を生成する。
• 独立して訓練されたsMCLアンサンブルメンバーは、明示的な教師信号なしに、出力空間の異なる次元（物体の識別、シーン構造、行動記述など）に自動的に特化する。
• sMCLは、細分化された物体クラスやレアなシーン構成など、解空間の曇った領域や低密度領域を、標準アンサンブルよりもよく捉える。
• 本手法は実装が簡単で、ハイパーパラメータが一切不要であり、SGDで訓練される任意の深層学習アーキテクチャに、sMCLレイヤーの追加のみで適用可能である。