[論文レビュー] Searching for Stage-wise Neural Graphs In the Limit

Xin Zhou, Dejing Dou+1 more|arXiv (Cornell University)|Dec 30, 2019

Neural Networks and Applications参考文献 38被引用数 4

ひとこと要約

本論文は、ランダムグラフの連続的極限対象であるグラフオンを用いて、スケーラブルで理論的裏付けのあるステージごとのニューラルネットワークアーキテクチャ探索のための新規な探索空間を提案する。グラフオン理論とカット距離メトリクスを活用することで、CIFAR-10における小規模グラフの探索を効率的に行い、大規模なImageNet対応アーキテクチャにスケーリングする。その結果、精度においてDenseNetやWatts-Strogatzランダムグラフを上回る。

ABSTRACT

Search space is a key consideration for neural architecture search. Recently, Xie et al. (2019) found that randomly generated networks from the same distribution perform similarly, which suggests we should search for random graph distributions instead of graphs. We propose graphon as a new search space. A graphon is the limit of Cauchy sequence of graphs and a scale-free probabilistic distribution, from which graphs of different number of nodes can be drawn. By utilizing properties of the graphon space and the associated cut-distance metric, we develop theoretically motivated techniques that search for and scale up small-capacity stage-wise graphs found on small datasets to large-capacity graphs that can handle ImageNet. The scaled stage-wise graphs outperform DenseNet and randomly wired Watts-Strogatz networks, indicating the benefits of graphon theory in NAS applications.

研究の動機と目的

• 従来のNASにおける非効率性と冗長性を解消するため、離散的グラフ探索から確率分布探索への移行を目的とする。
• 固定サイズで手作業で設計されたセル構造の制限を克服し、スケーラブルで段階的なアーキテクチャ設計を可能にする。
• グラフオン理論を用いて、小規模で高性能な段階的グラフを大規模モデルにスケーリングする理論的裏付けのある手法を開発すること。
• グラフオンベースのアーキテクチャが、DenseNet やランダムなWSネットワークといった既存のベースラインを精度と一般化性能において上回ることを実証すること。

提案手法

• カット距離メトリクスの下でのグラフのコーシー列の連続的極限対象としてのグラフオンを提案し、統一的かつ表現力のある探索空間を実現する。
• グラフ間の類似性を測定し、スケーリング過程での理論的収束を保証するためにカット距離メトリクスを活用する。
• 小規模で高性能な段階的グラフを、構造的および性能的性質を保持したまま、より大きなサイズにスケーリングするためのk重ブロー・アップ法を採用する。
• 中間サイズのグラフに対して1次元線形補間と分数ブロー・アップ技術を適用し、カット距離誤差の理論的バウンディングを実現する。
• CIFAR-10における小規模NASを用いて最適なグラフオンベースの段階的構造を発見し、その後、それらをImageNetサイズのモデルにスケーリングする。
• 同一のトレーニングおよびハイパーパramータ設定下で、スケーリングされたアーキテクチャをDenseNetやWSランダムグラフと比較することで、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 グラフオンは、離散的グラフよりも効率的で表現力に優れたNASの探索空間として機能できるか？
• RQ2 小規模で高性能な段階的グラフを、性能を保持したまま大規模アーキテクチャに信頼性高くスケーリングする方法は何か？
• RQ3 カット距離メトリクスは、スケーリング過程におけるグラフ類似性の測定と制御の理論的根拠を提供できるか？
• RQ4 グラフオンベースのアーキテクチャは、DenseNet やWSネットワークといった既存のベースラインを精度と一般化性能において上回るか？
• RQ5 分数アップサンプリング手法の理論的誤差バウンディングは何か？特に、ノードを半分追加する場合の最大カット距離偏差はどれくらいか？

主な発見

• グラフオンベースの手法は、CIFAR-10から得た小規模で高性能な段階的グラフをImageNetにスケーリングし、DenseNet やWSランダムグラフを上回る優れた精度を達成した。
• k重ブロー・アップ法は、1次元線形補間よりも元のグラフのカット距離においてより良い近似を提供した。
• 分数アップサンプリングは有界な誤差を導入し、ノードを半分追加する場合の最大カット距離偏差はβΔ/6までに抑えられた。
• この手法は、ネットワーク性能の鍵となるのは正確なグラフではなく、その背後にある確率的グラフ分布であることを実証し、分布レベルの探索への移行を正当化した。
• グラフオンベースのアーキテクチャは、複数のデータセットおよび評価指標において一貫してベースラインを上回り、理論的枠組みの有効性を確認した。