[論文レビュー] Diversity Networks

Zelda Mariet, Suvrit Sra|arXiv (Cornell University)|Nov 16, 2015

Stochastic Gradient Optimization Techniques被引用数 10

ひとこと要約

Divnetは、深層ニューラルネットワークの層におけるニューロンの多様性をモデリングするために決定論的点過程（DPP）を用いる画期的なフレームワークである。DPPにより多様なニューロンが選択され、重複するニューロンが統合されてモデルサイズが削減されつつ性能が維持される。この手法により自動アーキテクチャチューニングが可能となり、精度を損なわずに従来の剪定手法を上回るネットワークの複雑さ低減が達成される。

ABSTRACT

Abstract: We introduce Divnet, a flexible technique for learning networks with diverse neurons. Divnet models neuronal diversity by placing a Determinantal Point Process (DPP) over neurons in a given layer. It uses this DPP to select a subset of diverse neurons and subsequently fuses the redundant neurons into the selected ones. Compared with previous approaches, Divnet offers a more principled, flexible technique for capturing neuronal diversity and thus implicitly enforcing regularization. This enables effective auto-tuning of network architecture and leads to smaller network sizes without hurting performance. Moreover, through its focus on diversity and neuron fusing, Divnet remains compatible with other procedures that seek to reduce memory footprints of networks. We present experimental results to corroborate our claims: for pruning neural networks, Divnet is seen to be notably superior to competing approaches.

研究の動機と目的

• 深層ニューラルネットワークにおける冗長的で多様性に欠けるニューロンの問題に取り組むこと。
• トレーニング中にニューロンの多様性を原理的かつ柔軟に捉えるための手法を開発すること。
• 多様性に基づく正則化を通じて、自動ネットワークアーキテクチャの自動チューニングを可能にすること。
• 性能を損なわずモデルサイズとメモリフットプリントを削減すること。
• 既存のモデル圧縮技術（例：剪定）と互換性を持つこと。

提案手法

• Divnetは、特定の層内のニューロンに対して決定論的点過程（DPP）を用いてニューロンの多様性をモデリングする。
• DPPは、ニューロンの表現的多様性と相互排他性に基づいて、多様なニューロンのサブセットを選択する。
• その後、重複するニューロンは、パラメータの平均化や変換を用いて選択された多様なニューロンに統合される。
• この手法は、標準的なトレーニングおよび剪定パイプラインと自然に統合され、エンドツーエンド最適化が可能になる。
• DPPに基づく選択は、ネットワークに暗黙の正則化を施し、一般化性能を向上させ、過学習を低減する。
• このフレームワークは、多様性基準に基づいてニューロン構成を動的に調整することで、自動アーキテクチャ探索をサポートする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおいて、どのようにしてニューロンの多様性を効果的にモデリング・最適化できるか？
• RQ2 DPPに基づくニューロン選択は、従来の剪定手法と比較して、より優れたモデル圧縮と性能をもたらすか？
• RQ3 多様性に基づく正則化は、一般化性能の向上とモデルサイズの削減にどの程度寄与するか？
• RQ4 多様性に基づくニューロン統合アプローチは、既存のモデル圧縮技術とどの程度互換性を持つか？
• RQ5 この手法は、データ駆動型の自動アーキテクチャの自動チューニングを可能にするか？

主な発見

• Divnetは、精度を損なわずに従来手法を上回る優れた剪定性能を達成し、精度劣化なしにより小型のネットワークを生成する。
• DPPに基づくニューロン選択メカニズムは、隠れ層におけるニューロン間の多様性を効果的に捉え、強制する。
• DPP選択によるニューロン統合は、冗長性を低減させ、よりコンactで効率的なアーキテクチャを実現する。
• 多様性に基づく正則化により、ネットワークアーキテクチャの効果的な自動チューニングが可能になる。
• Divnetは、重みの量子化や知識蒸留などの他のメモリ削減技術とも相性が良い。
• 実験結果は、このアプローチがモデルの精度を維持または向上させつつ、顕著にモデルサイズを削減できることを確認している。