[論文レビュー] Efficient Architecture Search for Diverse Tasks

Jun-Hong Shen, Mikhail Khodak+1 more|arXiv (Cornell University)|Apr 15, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

この論文では、畳み込みニューラルネットワークにおける多様なカーネルサイズと拡張率を効率的に探索することで、複数の分野で性能を向上させる、微分可能ニューラルアーキテクチャサーチ手法Dashを提案する。フーリエ対角化とカーネル混合を活用することで、ベースライン手法と比較して最大10倍高速に探索が可能となり、10の多様なタスクのうち7つで最先端のAutoMLを上回る性能を達成した。

ABSTRACT

While neural architecture search (NAS) has enabled automated machine learning (AutoML) for well-researched areas, its application to tasks beyond computer vision is still under-explored. As less-studied domains are precisely those where we expect AutoML to have the greatest impact, in this work we study NAS for efficiently solving diverse problems. Seeking an approach that is fast, simple, and broadly applicable, we fix a standard convolutional network (CNN) topology and propose to search for the right kernel sizes and dilations its operations should take on. This dramatically expands the model's capacity to extract features at multiple resolutions for different types of data while only requiring search over the operation space. To overcome the efficiency challenges of naive weight-sharing in this search space, we introduce DASH, a differentiable NAS algorithm that computes the mixture-of-operations using the Fourier diagonalization of convolution, achieving both a better asymptotic complexity and an up-to-10x search time speedup in practice. We evaluate DASH on ten tasks spanning a variety of application domains such as PDE solving, protein folding, and heart disease detection. DASH outperforms state-of-the-art AutoML methods in aggregate, attaining the best-known automated performance on seven tasks. Meanwhile, on six of the ten tasks, the combined search and retraining time is less than 2x slower than simply training a CNN backbone that is far less accurate.

研究の動機と目的

• コンピュータビジョンや自然言語処理を越えて一般化性に欠ける既存のNAS手法の課題に対処する。
• 生物学、医療、物理学などの未開拓な分野においても高い精度を維持できる、効率的でスケーラブルなNASアプローチを開発する。
• 標準的なCNNにおける大きなカーネルサイズと拡張率の探索における計算ボトルネックを克服し、速度やモデル効率を損なわずに行う。
• 既存の微分可能NASよりも高速であり、離散的探索空間よりも表現力に優れた手法を設計し、より広範な適用可能性を実現する。
• 自動アーキテクチャサーチが手作業で設計されたモデルを上回る性能を達成しつつ、実世界の展開においても実用的であることを実証する。

提案手法

• 標準的なCNNバックボーンを固定し、最大15のカーネルサイズと最大127の拡張率を変化させたクロススケール演算子空間を探索することで、マルチスケール特徴抽出を可能にする。
• 複数の畳み込みを1つの畳み込みに複合カーネルで統合するカーネルミキシング技術を導入し、計算量をO(|K||D|)からO(1)に削減する。
• 畳み込みのフーリエ対角化を適用することで、計算コストをO(nk)からO(n log n)に削減し、大きなカーネルでも効率的な計算を可能にする。
• 非拡張カーネルとスパース行列のクロネッカー積を用いて、GPU上での拡張畳み込み計算を高速化し、追加の高速化を達成する。
• 共有スーパーネットを用いた微分可能探索フレームワークを採用し、その後に離散的アーキテクチャ選択と再訓練を実施することで、実用的展開を保証する。
• 学習されたアーキテクチャを、例えばWide ResNet、ConvNeXt、TCNなどの既存のバックボーンに統合することで、バックボーンに依存しない性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能NAS手法は、大きなカーネルサイズと高い拡張率を効率的に探索することで、多様で視覚的でないタスクでの性能向上を達成できるか？
• RQ2 フーリエベースの畳み込み対角化を用いることで、計算コストが著しく増大することなく、大きなカーネルに対するスケーラブルな探索が可能になるか？
• RQ3 1つのアーキテクチャサーチ手法が、医療、物理学、生物学を含む複数の分野で、手作業で設計されたモデルと同等またはそれ以上の性能を達成できるか？
• RQ4 標準的な小カーネルNAS手法の探索空間を大幅に拡張しても、高い探索効率を維持できるか？
• RQ5 学習されたアーキテクチャのパターンが、データ固有の性質やタスク固有のインダクティブバイアスをどのように反映しているか、その程度はどの程度か？

主な発見

• Dashは、心臓疾患検出、タンパク質折りたたみ、PDEの解法を含む10の多様なタスクのうち7つで、これまでに得られた最高の自動化性能を達成した。
• 10のタスクのうち6つにおいて、Dashの探索と再訓練に要する時間は、標準的なWide ResNetを訓練する時間の2倍未満であり、高い実用的効率を示した。
• DARTSなどのベースライン手法と比較して、Dashは最大10倍の高速化を達成しながら、精度を維持または向上させた。
• ImageNetでは、ConvNeXtバックボーンを上回り、トップ1精度で1.4%の向上を達成し、この設定では人間がチューニングしたモデルでさえも上回った。
• この手法はバックボーンに依存せず、TCNやConvNeXtにおいても性能向上を実現しており、さまざまなアーキテクチャとの互換性を示した。
• 集約畳み込み機構により、モデル効率や精度を損なわず、大きなカーネル空間における効率的で微分可能な探索が可能になった。