[論文レビュー] Neural Network Architecture Optimization through Submodularity and Supermodularity

Junqi Jin, Ziang Yan+3 more|arXiv (Cornell University)|Sep 1, 2016

Machine Learning and Algorithms参考文献 32被引用数 10

ひとこと要約

この論文は、正確性の下位モジュラリティと計算時間の上位モジュラリティを活用することで、ニューラルアーキテクチャ探索をサブセット選択問題として定式化し、効率的なグリーディ最適化を可能にした。計算時間の制約下で、精度と推論時間の優れたトレードオフを達成し、ベースラインを上回る性能を示した。

ABSTRACT

Deep learning models' architectures, including depth and width, are key factors influencing models' performance, such as test accuracy and computation time. This paper solves two problems: given computation time budget, choose an architecture to maximize accuracy, and given accuracy requirement, choose an architecture to minimize computation time. We convert this architecture optimization into a subset selection problem. With accuracy's submodularity and computation time's supermodularity, we propose efficient greedy optimization algorithms. The experiments demonstrate our algorithm's ability to find more accurate models or faster models. By analyzing architecture evolution with growing time budget, we discuss relationships among accuracy, time and architecture, and give suggestions on neural network architecture design.

研究の動機と目的

• 固定された計算時間または正確性要件の下で最適なニューラルネットワークアーキテクチャを選択する課題に対処する。
• アーキテクチャ探索をサブセット選択問題として再定式化し、スケーラブルな最適化を可能にする。
• モデルの正確性のサブモジュラリティと計算時間のスープーモジュラリティを活用して、効率的なアルゴリズムを設計する。
• 正確性、時間、アーキテクチャの進化に関する実験的分析に基づき、ニューラルネットワークアーキテクチャの実用的設計指針を提供する。
• グリーディ最適化が、ベースライン手法よりも優れたパフォーマンス-計算時間トレードオフを達成できることを示す。

提案手法

• アーキテクチャ的要素の上でのモデル正確性をサブモジュラー関数としてモデル化し、追加される要素に伴い収益の逓減が生じることを保証する。
• 計算時間をスープーモジュラー関数としてモデル化し、アーキテクチャの拡大に伴い限界コストが増加することを反映する。
• 時間予算内での正確性最大化を目的としたグリーディ前向き選択アルゴリズムを適用し、サブモジュラリティを活用して近似的に最適な解を得る。
• 最小正確性要件を満たす前提で計算時間を最小化する逆方向グリーディアプローチを用い、スープーモジュラリティを活用する。
• サブモジュラーおよびスープーモジュラー関数を用いて、制約付き最適化問題としてアーキテクチャ探索問題を定式化する。
• 標準ベンチマーク上での実験的評価を通じて理論的性質を検証し、サブモジュラー-スープーモジュラー仮定の妥当性を確認する。

実験結果

リサーチクエスチョン

• RQ1 正確性と計算時間のサブモジュラー性およびスープーモジュラリティを、効率的なニューラルアーキテクチャ探索に効果的に活用できるか？
• RQ2 サブモジュラリティおよびスープーモジュラリティに基づくグリーディ最適化戦略は、ランダム探索や全探索と比較して、正確性と速度のトレードオフにおいてどのように異なるか？
• RQ3 時間予算が増加するにつれて、ニューラルネットワークアーキテクチャの構造的・性能的傾向はどのように変化するか？
• RQ4 提案手法は、同じ制約下で、ベースライン手法よりも正確性が高くかつ高速なモデルをどの程度の範囲で特定できるか？
• RQ5 時間予算の増大に伴うアーキテクチャの進化を分析することで、どのような設計原則を導き出せるか？

主な発見

• 固定された計算時間予算下で、提案されたグリーディアルゴリズムはベースラインよりも高いテスト正確性を達成した。
• 本手法は、必要な正確性の閾値を満たすにもかかわらず、より高速なモデルを特定でき、標準的な探索戦略よりも効率性に優れた。
• 実験的結果から、正確性が近似的にサブモジュラーであり、計算時間がアーキテクチャ構成に応じてスープーモジュラーな傾向を示すことが確認された。
• 増大する時間予算下でのアーキテクチャの進化は、一貫した要素選択のパターンを示しており、サブモジュラー-スープーモジュラーモデル化の妥当性を裏付けた。
• 分析から、特定のアーキテクチャ的要素を探索プロセスの初期段階で優先するといった、実行可能な設計インサイトが得られた。
• 本手法はより大きなアーキテクチャに対しても効果的にスケーリングされ、全探索を伴わずとも高い性能を維持した。