[論文レビュー] MIDAS: Mosaic Input-Specific Differentiable Architecture Search

Konstanty Subbotko|arXiv (Cornell University)|Feb 6, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

MIDAS は静的なアーキテクチャパラメータを入力依存のパッチ単位自己注意に置換し、パラメータなしのトポロジ検索を用いてアーキテクチャを動的に選択する。NAS ベンチマークと空間全体で競争力のある、最新の結果を達成。

ABSTRACT

Differentiable Neural Architecture Search (NAS) provides efficient, gradient-based methods for automatically designing neural networks, yet its adoption remains limited in practice. We present MIDAS, a novel approach that modernizes DARTS by replacing static architecture parameters with dynamic, input-specific parameters computed via self-attention. To improve robustness, MIDAS (i) localizes the architecture selection by computing it separately for each spatial patch of the activation map, and (ii) introduces a parameter-free, topology-aware search space that models node connectivity and simplifies selecting the two incoming edges per node. We evaluate MIDAS on the DARTS, NAS-Bench-201, and RDARTS search spaces. In DARTS, it reaches 97.42% top-1 on CIFAR-10 and 83.38% on CIFAR-100. In NAS-Bench-201, it consistently finds globally optimal architectures. In RDARTS, it sets the state of the art on two of four search spaces on CIFAR-10. We further analyze why MIDAS works, showing that patchwise attention improves discrimination among candidate operations, and the resulting input-specific parameter distributions are class-aware and predominantly unimodal, providing reliable guidance for decoding.

研究の動機と目的

• 微分可能 NAS の安定性と性能を改善する動機付け。
• DARTS を補強する入力依存のパッチ単位アーキテクチャパラメータを導入。
• パラメータレスのトポロジ認識検索を組み込み、接続性をモデル化。
• NAS-Bench-201、DARTS、RDARTS 空間とデータセット全体で MIDAS を評価。
• パッチ単位注意と入力依存分布がデコードを支援する理由の分析を提供。

提案手法

• 入力依存の重みをドット積自己注意で計算し、静的アーキテクチャパラメータを置換。
• 活性化マップを P^2 ピースに分割し、パッチ単位注意を適用してモザイクアーキテクチャ分布を生成。
• 候補エッジのペアに対するトポロジ認識検索空間を定義し、追加のトポロジパラメータなしでデコード。
• 訓練サンプル全体で入力依存パラメータを平均化して固定アーキテクチャ決定を得てデコード。
• supernet の訓練には DARTS に類似したバイレベル最適化スキームを用い、アーキテクチャパラメータを更新。
• サンプルを周辺化して各ノードの上位エッジを選択することでパラメータレスのデコードを維持。

Figure 1 : Computing input-specific architecture with attention. For a given node, each candidate operation $o^{(j)}$ applied to an incoming feature $x^{(i)}$ produces an activation map $F^{(i,j)}=o^{(j)}(x^{(i)})$ . We project the node’s concatenated input into a query and the candidate activation

実験結果

リサーチクエスチョン

• RQ1 入力依存で注意駆動のアーキテクチャパラメータは、静的パラメータと比べて候補演算の識別性を改善できるか。
• RQ2 パッチワイス（モザイク）注意はグローバルプーリングより堅牢で解釈性の高いアーキテクチャを生み出すか。
• RQ3 注意ベースの NAS フレームワーク内でパラメータレスにトポロジを効果的に探索できるか。
• RQ4 MIDAS は NAS-Bench-201、DARTS、RDARTS 空間でどの程度性能を発揮し、ImageNet へ転移可能か。
• RQ5 学習された入力依存アーキテクチャは一峰性かつクラス認識的で、デコードを支援するか。

主な発見

• MIDAS は複数の NAS 空間とデータセットで最先端または競争力のある結果を達成。
• NAS-Bench-201 では MIDAS が一貫して最適解またはほぼ最適解のアーキテクチャを発見。
• DARTS 空間では CIFAR-10 の top-1 が 97.42%、CIFAR-100 が 83.38% に達成。
• RDARTS S1–S4 では、S2 および S4 で CIFAR-10 の最先端を達成。
• パッチ単位注意（PS=4 または PS=8）は、グローバルプーリングより演算の識別性を高め、特に初期層で有効。
• 入力依存のアーキテクチャパラメータは一峰性になりやすく、クラス認識的構造を示し、堅牢なデコードを助ける。

Figure 2 : Learned input-specific architecture parameters in the first two cells in the DARTS search space on CIFAR-10, averaged over four runs. We compare three variants: no patch (global average pooling only), PS=4 (patch size $4\times 4$ ), and PS=8 (patch size $8\times 8$ ). The horizontal line