[論文レビュー] Optimal Transport Kernels for Sequential and Parallel Neural Architecture Search
本稿では、ニューラルアーキテクチャ探索（NAS）における正定値カーネルとk-行列式ポイントプロセス（k-DPP）を可能にする、新しいツリー・ワサーライン（TW）距離を提案する。n-gramおよびインデグリー/アウトドリー特徴を用いてアーキテクチャを符号化することで、TWはグローバルおよびローカル構造を捉え、逐次的および並列的NAS設定の両方で、より高速でスケーラブルな計算を実現し、ベースラインを上回る性能を発揮する。
Neural architecture search (NAS) automates the design of deep neural networks. One of the main challenges in searching complex and non-continuous architectures is to compare the similarity of networks that the conventional Euclidean metric may fail to capture. Optimal transport (OT) is resilient to such complex structure by considering the minimal cost for transporting a network into another. However, the OT is generally not negative definite which may limit its ability to build the positive-definite kernels required in many kernel-dependent frameworks. Building upon tree-Wasserstein (TW), which is a negative definite variant of OT, we develop a novel discrepancy for neural architectures, and demonstrate it within a Gaussian process surrogate model for the sequential NAS settings. Furthermore, we derive a novel parallel NAS, using quality k-determinantal point process on the GP posterior, to select diverse and high-performing architectures from a discrete set of candidates. Empirically, we demonstrate that our TW-based approaches outperform other baselines in both sequential and parallel NAS.
研究の動機と目的
- 構造的複雑さに強く影響されない類似性メトリックを用いて、非連続的で複雑なニューラルアーキテクチャを比較する課題に対処する。
- 最適輸送（OT）のNASにおける限界を克服するため、ガウス過程（GP）における正定値半定値カーネルを保証する負定値変種（ツリー・ワサーライン）を開発する。
- 離散的な候補から多様で高パフォーマンスなアーキテクチャを効果的に選択できるように、k-行列式ポイントプロセス（k-DPP）を設計し、並列NASを可能にする。
- 提案されたTWベースのフレームワークを用いて、逐次的および並列的NAS設定における性能向上を実証する。
- 計算のスケーラビリティと大規模アーキテクチャとの互換性を確保するため、OTに比べて計算コストの高いものとは異なり、閉形式でのTW計算を活用する。
提案手法
- n-gramおよびインデグリー/アウトドリー表現を用いて、ニューラルアーキテクチャの構造を符号化する新しいツリー・ワサーライン（TW）距離を設計し、局所的およびグローバル特徴を捉える。
- ガウス過程（GP）の補間モデルにおける正定値半定値（p.s.d.）カーネルをTWから構築し、逐次NASにおける有効な確率的推論を保証する。
- GPの事後分布を用いて、並列NASにおける多様で高パフォーマンスなアーキテクチャの選択を可能にするk-行列式ポイントプロセス（k-DPP）を活用し、グリーディ選択を回避する。
- GPの予測分散に基づいてk-DPPの品質関数を定式化し、多様で高精度な候補をバッチで取得可能にする。
- TW距離の閉形式計算を実装し、木構造におけるエッジ数に関して線形時間計算量を達成する。これは、超立方体オーダーのOTとは対照的である。
- 逐次NASにおける標準的な獲得関数（例：GP-UCB、EI）とTWを統合し、NASBench101およびNASBench201ベンチマーク上で性能を評価する。
実験結果
リサーチクエスチョン
- RQ1最適輸送（OT）の負定値変種を構築することで、ニューラルアーキテクチャ探索におけるガウス過程モデルで有効な正定値半定値カーネルを実現できるか？
- RQ2提案されたツリー・ワサーライン（TW）距離は、従来のOTおよび他の類似性メトリックと比較して、NASにおけるアーキテクチャ類似性をどの程度的確に捉えられるか？
- RQ3GP事後分散に基づくk-行列式ポイントプロセス（k-DPP）は、並列NASにおいて多様で高パフォーマンスなアーキテクチャを効果的に選択できるか？
- RQ4異なる獲得関数（例：UCB対EI）は、提案されたGP-TWフレームワークにおける逐次NASの性能にどのような影響を及えるか？
- RQ5固定されたウォールクロック時間予算下で、バッチサイズの変更が提案された並列NAS手法の性能に与える影響は何か？
主な発見
- 提案されたツリー・ワサーライン（TW）距離により、標準的な最適輸送の不定値性を克服し、ガウス過程モデルにおける有効な正定値半定値カーネルを実現できる。
- GP-TWフレームワークは、NASBench101およびNASBench201における逐次NASでベースライン手法を上回り、より少ない評価回数で高いテスト精度を達成する。
- k-DPPに基づく並列NASアプローチは、複数のバッチサイズにおいて一貫して最先端の性能を発揮し、高い精度と多様性を実現する。
- TW距離は閉形式計算が可能で、エッジ数に関して線形時間計算量を達成するため、特に大規模アーキテクチャにおいてOTベース手法よりも顕著に高速である。
- 提案されたNASフレームワークにおいて、GP-UCB獲得関数はGP-EIを上回る性能を発揮する。これはBananasなどの先行ベンチマークの結果とも整合する。
- 固定されたウォールクロック時間予算下で、バッチサイズが大きくなるほど性能が向上し、k-DPPに基づくバッチ選択戦略のスケーラビリティと有効性が裏付けられる。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。