[論文レビュー] Deep Submodular Functions

Jeffrey A. Bilmes, Wenruo Bai|arXiv (Cornell University)|Jan 31, 2017

Machine Learning and Algorithms参考文献 27被引用数 20

ひとこと要約

この論文は、深層ニューラルネットワークにインspiredされた、柔軟で階層的なサブモジュラー関数の族であるDeep Submodular Functions (DSFs)を導入する。DSFsはSCMMを一般化し、深さに伴い表現力が厳密に向上し、微分可能アーキテクチャを通じてエンドツーエンドでサブモジュラー関数を学習可能であり、機械学習における表現学習と最適化のための新たなクラスを提供する。

ABSTRACT

We start with an overview of a class of submodular functions called SCMMs (sums of concave composed with non-negative modular functions plus a final arbitrary modular). We then define a new class of submodular functions we call {\em deep submodular functions} or DSFs. We show that DSFs are a flexible parametric family of submodular functions that share many of the properties and advantages of deep neural networks (DNNs). DSFs can be motivated by considering a hierarchy of descriptive concepts over ground elements and where one wishes to allow submodular interaction throughout this hierarchy. Results in this paper show that DSFs constitute a strictly larger class of submodular functions than SCMMs. We show that, for any integer $k>0$, there are $k$-layer DSFs that cannot be represented by a $k'$-layer DSF for any $k'

研究の動機と目的

• 深層ニューラルネットワークの階層的・分散表現の性質を継承する新しいサブモジュラー関数の族を開発すること。
• 2^n の自由度を持つ高次元かつ複雑なデータ空間において、適切なサブモジュラー関数の選択または学習の課題に取り組むこと。
• 表現学習、最適化、一般化を支援する、深層サブモジュラー関数の形式的枠組みを確立すること。
• DSFsがSCMMを厳密に一般化し、浅いネットワークとは異なり、深さに伴い表現力が厳密に向上することを示すこと。
• 微分可能アーキテクチャを用いて、特徴マッピングとサブモジュラー関数の両方を同時にエンドツーエンドで学習可能にすること。

提案手法

• DSFsを、複数の層にわたる再帰的合成関数として定義し、各層で非負のモジュラー関数に凹関数を適用することで、深さを持つ階層的構造を形成すること。
• Lovász拡張を用いてDSFsを微分可能とし、連続領域における勾配ベース最適化と互換性を持たせること。
• 単調でない超微分の概念を導入し、サブモジュラー関数を特徴付け、負の2階偏微分と連続的サブモジュラリティを関連付けること。
• パラメトリック歪み距離 $d_{w, heta}(x_i, x_j) = \breve{f}_w(\tilde{h}_\theta(x_i) + \tilde{h}_\theta(x_j) - 2\tilde{h}_\theta(x_i) \otimes \tilde{h}_\theta(x_j))$ を提案し、DNN特徴マップ $\tilde{h}_\theta$ とDSF $f_w$ を組み合わせること。
• 両方のパラメータを同時に学習可能な連合学習目的関数 $J(w, \theta) = \sum_{i,j} \|d(x_i,x_j) - d_{w,\theta}(x_i,x_j)\|$ を定式化すること。
• マトロイド理論、特にラミナーマトロイドを用いて理論的基盤を確立し、DSFの表現力の分析とランク関数との比較を行うこと。

実験結果

リサーチクエスチョン

• RQ1 サブモジュラー関数の階層的・深さのあるアーキテクチャを形式的に定義し、SCMMなどの既存の族を一般化できることを示せるか？
• RQ2 DSFの層数を増やすことで表現力が厳密に向上するか？また、浅いモデルとは異なり、深さに依存する能力は特異的か？
• RQ3 DSFsはすべてのサブモジュラー関数を表現できるか？それとも表現力に根本的な限界があるか？
• RQ4 特にラベル付きのサブモジュラー関数値が利用できない状況において、DSFsをデータから効果的に学習できるか？
• RQ5 DSFsと他のサブモジュラー関数族（例：エントロピー関数、マトロイドランク関数）との関係は何か？

主な発見

• DSFsはSCMMを厳密に一般化し、より大きな表現力を持つサブモジュラー関数の族を形成する。
• 任意の $k > 0$ に対して、$k'$-層DSF（$k' < k$）では表現できない$k$-層DSFが存在することを示し、深さが表現力の厳密な増加をもたらすことを証明する。
• バックプロパゲーション風の矛盾論法を用いて、すべてのサブモジュラー関数の族はDSFの族よりも厳密に大きいことが示された。
• Lovász拡張を用いることで、DSFsは微分可能最適化をサポートし、特徴表現とサブモジュラー関数の両方をエンドツーエンドで訓練可能になる。
• 連合学習目的関数 $J(w, \theta)$ を用いることで、DNN特徴マップ $\tilde{h}_\theta$ とDSF $f_w$ を同時に学習し、元のデータ距離を保持できる。
• 本フレームワークにより、ハッシュ関数とサブモジュラー関数の同時学習や、下流タスク用のパラメトリック歪み距離の提供が可能になる。