[論文レビュー] Exploring Randomly Wired Neural Networks for Image Recognition

Saining Xie, Alexander Kirillov+2 more|arXiv (Cornell University)|Apr 2, 2019

Advanced Neural Network Applications参考文献 50被引用数 82

ひとこと要約

本論文は古典的なランダムグラフモデル（ER、BA、WS）から生成された RandWire を用い、それらが手設計の配線や演算探索なしで競争力の ImageNet 精度を達成できることを示す。ネットワーク生成器を設計要素として強調する。

ABSTRACT

Neural networks for image recognition have evolved through extensive manual design from simple chain-like models to structures with multiple wiring paths. The success of ResNets and DenseNets is due in large part to their innovative wiring plans. Now, neural architecture search (NAS) studies are exploring the joint optimization of wiring and operation types, however, the space of possible wirings is constrained and still driven by manual design despite being searched. In this paper, we explore a more diverse set of connectivity patterns through the lens of randomly wired neural networks. To do this, we first define the concept of a stochastic network generator that encapsulates the entire network generation process. Encapsulation provides a unified view of NAS and randomly wired networks. Then, we use three classical random graph models to generate randomly wired graphs for networks. The results are surprising: several variants of these random generators yield network instances that have competitive accuracy on the ImageNet benchmark. These results suggest that new efforts focusing on designing better network generators may lead to new breakthroughs by exploring less constrained search spaces with more room for novel design.

研究の動機と目的

• ランダムグラフ生成器を用いて手動の配線制約を緩和することが、競争力のある画像認識モデルを生み出すかを動機づけ、評価する。
• ネットワーク生成器フレームワークを定義し、ランダムグラフモデルがニューラルネットワークを具体化できることを示す。
• RandWire ネットワークを ImageNet で、小規模・規則的・大規模計算系で評価し、手設計および NAS アーキテクチャと比較する。

提案手法

• パラメータ集合 θ とシード s をニューラルネットワークアーキテクチャに写像するネットワーク生成器 g を定義する。
• ER、BA、WSモデルからランダムグラフをサンプリングして、グラフをノード演算を持つ DAG に写像することで、完全なニューラルネットワークを生成する。
• 各ノードが正の重みで入力を集約し、ReLU-畳み込み-BN 変換を適用する簡易なノード演算設計を使用し、FLOPs が配線にほぼ依存しないようにする。
• 従来の CNN（ResNet/DenseNet 風）に類似した、入力/出力処理と段階的な下サンプリングを備えた段階的なネットワーク構築を行う。
• 固定予算の下で ImageNet 上で RandWire を訓練し、5つのシードに跨る平均精度と標準偏差を報告する（ジェネレーターごとのランダム探索は行わない）。
• 複数の FLOP/パラメータ予算の下で RandWire を ResNet/ResNeXt および NAS ベースモデルと比較する。

実験結果

リサーチクエスチョン

• RQ1 本論文の研究問い1：古典的なランダムグラフモデルから生成されたランダム配線ネットワークは、手設計およびNAS設計のアーキテクチャと比べて競争力のある ImageNet 精度を達成できるか。
• RQ2 本論文の研究問い2：グラフ生成器の選択（ER、BA、WS）とそのパラメータが RandWire モデルの精度とロバスト性にどのように影響するか。
• RQ3 本論文の研究問い3：ノード演算の選択とネットワーク段階構成が、配線をランダム化した場合のパフォーマンスに与える影響はどの程度か。
• RQ4 RandWire のパフォーマンスは、小規模・規則的・大規模計算系で従来のアーキテクチャと比較してどのようにスケールするか。

主な発見

ネットワーク	Top-1 精度	Top-5 精度	FLOPs (M)	パラメータ数 (M)
RandWire-WS (small regime)	74.7 ±0.25	92.2 ±0.15	583 ±6.2	5.6 ±0.1
ResNet-50	77.1	93.5	4.1	25.6
ResNeXt-50	78.4	94.0	4.2	25.0
RandWire-WS (109)	79.0 ±0.17	94.4 ±0.11	4.0 ±0.09	31.9 ±0.66
ResNet-101	78.8	94.4	7.8	44.6
ResNeXt-101	79.5	94.6	8.0	44.2
RandWire-WS (154)	80.1 ±0.19	94.8 ±0.18	7.9 ±0.18	61.5 ±1.32

• ER、BA、WS モデルで生成されたランダム配線ネットワークは、同程度の計算量の下で競争力のある ImageNet 精度を達成し、WS ベースの生成器は手設計と同等以上、またはそれを上回ることがある。
• WS ベースの RandWire バリアントは、複数の NAS および手設計ネットワークと比較して、FLOPs が同程度でパラメータ数が少ない設定で優れる場合がある。
• 適切なパラメータを持つ WS モデル（例：WS(4,0.75)）は、小規模計算領域で最良の平均精度（約 74.7% Top-1）を示す。
• 特定のジェネレーターに対する5つのシード間の精度分散は小さく（典型的な std は約 0.2%–0.4%）、平均性能はジェネレーター間で顕著に変化するため、ジェネレーター設計が意味のある先验をエンコードしていることを示す。
• ノード演算の選択（3x3 separable conv、通常の conv、または pool-then-conv）は、ジェネレーター間の相対的なランキングに対して影響が限定的であり、配線パターンが演算タイプと直交的に寄与することを示唆する。
• RandWire ネットワークは規則的計算領域で競争力のある結果を達成し（例：RandWire-WS の C=109/154）、大規模モデルではトップ1 精度が 80% を超えることがあり、ResNet/ResNeXt ベースラインと比較して FLOPs が少なく、パラメータは同等程度である。