[논문 리뷰] MIDAS: Mosaic Input-Specific Differentiable Architecture Search

Konstanty Subbotko|arXiv (Cornell University)|2026. 02. 06.

Advanced Neural Network Applications인용 수 0

한 줄 요약

MIDAS는 입력 특이적 패치 기반 자기 주의로 정적 아키텍처 매개변수를 대체하여 아키텍처를 동적으로 선택하고, 매개변수 없는 토폴로지 탐색을 사용하며, NAS 벤치마크와 다양한 공간에서 경쟁력 있으며 최첨단 결과를 달성합니다.

ABSTRACT

Differentiable Neural Architecture Search (NAS) provides efficient, gradient-based methods for automatically designing neural networks, yet its adoption remains limited in practice. We present MIDAS, a novel approach that modernizes DARTS by replacing static architecture parameters with dynamic, input-specific parameters computed via self-attention. To improve robustness, MIDAS (i) localizes the architecture selection by computing it separately for each spatial patch of the activation map, and (ii) introduces a parameter-free, topology-aware search space that models node connectivity and simplifies selecting the two incoming edges per node. We evaluate MIDAS on the DARTS, NAS-Bench-201, and RDARTS search spaces. In DARTS, it reaches 97.42% top-1 on CIFAR-10 and 83.38% on CIFAR-100. In NAS-Bench-201, it consistently finds globally optimal architectures. In RDARTS, it sets the state of the art on two of four search spaces on CIFAR-10. We further analyze why MIDAS works, showing that patchwise attention improves discrimination among candidate operations, and the resulting input-specific parameter distributions are class-aware and predominantly unimodal, providing reliable guidance for decoding.

연구 동기 및 목표

• 미분 가능한 NAS의 안정성과 성능 향상을 목표로 동기를 부여합니다.
• 입력 특이적이고 패치 단위의 아키텍처 매개변수를 도입하여 DARTS를 보강합니다.
• 연결성을 모델링하기 위해 매개변수 없는 토폴로지 인식 탐색을 도입합니다.
• MIDAS를 NAS-Bench-201, DARTS, RDARTS 공간 및 데이터셋에서 평가합니다.
• 패치 단위 주의와 입력 특이적 분포가 디코딩에 왜 도움이 되는지 분석을 제공합니다.

제안 방법

• 정적 아키텍처 매개변수를 점곱 자기 주의를 통해 계산된 입력 특이적 가중치로 대체합니다.
• 활성화 맵을 P^2 패치로 분할하고 패치 단위 주의를 적용하여 모자이크 아키텍처 분포를 생성합니다.
• 후보 간선 쌍에 대해 토폴로지 의식적 탐색 공간을 정의하고 추가 토폴로지 매개변수 없이 디코드합니다.
• 훈련 샘플 전체에서 입력 특이적 매개변수를 평균화하여 고정된 아키텍처 결정을 얻어 디코드합니다.
• 아키텍처 매개변수를 업데이트하는 동시에 슈퍼넷을 훈련하기 위해 DARTS와 유사한 이층 최적화 스킴을 사용합니다.
• 샘플에 대해 주변화하고 노드당 상위 간선을 선택하여 매개변수 없는 디코딩 단계를 유지합니다.

Figure 1 : Computing input-specific architecture with attention. For a given node, each candidate operation $o^{(j)}$ applied to an incoming feature $x^{(i)}$ produces an activation map $F^{(i,j)}=o^{(j)}(x^{(i)})$ . We project the node’s concatenated input into a query and the candidate activation

실험 결과

연구 질문

• RQ1 입력 특이적이고 주의 기반의 아키텍처 매개변수가 정적 매개변수에 비해 후보 연산 간의 구분성을 향상시킬 수 있을까요?
• RQ2 패치와 같은 모자이크 주의가 글로벌 풀링보다 더 강건하고 해석 가능한 아키텍처를 만들어낼까요?
• RQ3 주목 기반 NAS 프레이임워크 내에서 매개변수 없는 방식으로 토폴로지를 효과적으로 탐색할 수 있을까요?
• RQ4 MIDAS는 NAS-Bench-201, DARTS, RDARTS 공간에서 어떻게 성능을 발휘하며 ImageNet으로의 전이도 가능한가요?
• RQ5 학습된 입력 특이적 아키텍처가 단모드이며 클래스 인식에 유효하여 디코딩에 도움이 되나요?

주요 결과

• MIDAS는 여러 NAS 공간과 데이터셋에서 최첨단 또는 경쟁력 있는 성과를 달성합니다.
• NAS-Bench-201에서 MIDAS는 일관되게 최적 혹은 근사 최적의 아키텍처를 찾습니다.
• DARTS 공간에서 MIDAS는 CIFAR-10에서 97.42% 상위 1위, CIFAR-100에서 83.38%를 달성합니다.
• RDARTS S1–S4에서 MIDAS는 CIFAR-10의 S2와 S4에서 최첨단 성과를 달성합니다.
• 패치 단위 주의(PS=4 또는 PS=8)가 초기 계층에서 특히 글로벌 풀링보다 연산 간 차별화를 더 잘 수행합니다.
• 입력 특이적 아키텍처 매개변수는 단일 모드에 가까우며 클래스 인식 구조를 보이는 경향이 있어 강인한 디코딩에 도움을 줍니다.

Figure 2 : Learned input-specific architecture parameters in the first two cells in the DARTS search space on CIFAR-10, averaged over four runs. We compare three variants: no patch (global average pooling only), PS=4 (patch size $4\times 4$ ), and PS=8 (patch size $8\times 8$ ). The horizontal line