[논문 리뷰] DOTS: Decoupling Operation and Topology in Differentiable Architecture Search

Yuchao Gu, Wang, Li-Juan외 5명|arXiv (Cornell University)|2020. 10. 02.

Advanced Image and Video Retrieval Techniques참고 문헌 63인용 수 5

한 줄 요약

DOTS는 미분 가능 신경망 아키텍처 탐색(Differentiable NAS, NAS)에서 연산과 아키텍처 구조 탐색을 분리함으로써, 엣지 조합 가중치 기반의 아키텍처 구조 탐색 공간을 도입하여 아키텍처 중요도를 명시적으로 모델링한다. 아키텍처 표현을 연산 가중치에서 분리하고 엣지 수를 유연하게 조정함으로써, CIFAR100에서 최대 2.33% 향상된 정확도를 달성하며, 단지 0.26 GPU일의 자원으로 CIFAR10에서 97.51%의 정확도를 달성한다.

ABSTRACT

Differentiable Architecture Search (DARTS) has attracted extensive attention due to its efficiency in searching for cell structures. DARTS mainly focuses on the operation search and derives the cell topology from the operation weights. However, the operation weights can not indicate the importance of cell topology and result in poor topology rating correctness. To tackle this, we propose to Decouple the Operation and Topology Search (DOTS), which decouples the topology representation from operation weights and makes an explicit topology search. DOTS is achieved by introducing a topology search space that contains combinations of candidate edges. The proposed search space directly reflects the search objective and can be easily extended to support a flexible number of edges in the searched cell. Existing gradient-based NAS methods can be incorporated into DOTS for further improvement by the topology search. Considering that some operations (e.g., Skip-Connection) can affect the topology, we propose a group operation search scheme to preserve topology-related operations for a better topology search. The experiments on CIFAR10/100 and ImageNet demonstrate that DOTS is an effective solution for differentiable NAS.

연구 동기 및 목표

• DARTS에서 연산 가중치가 진정한 아키텍처 중요도를 잘 반영하지 못해 잘못된 아키텍처 순위가 발생하는 한계를 해결하기 위해.
• 아키텍처 표현을 연산 가중치에서 분리하여, 명시적이고 정확한 아키텍처 탐색을 가능하게 하기 위해.
• 탐색된 셀에서 엣지 수를 유연하고 가변적으로 지원함으로써, DARTS의 고정된 엣지 수 제약을 극복하기 위해.
• 연산 탐색과 아키텍처 탐색 과정을 분리하여 탐색 효율성과 정확도를 향상시키기 위해.
• 아키텍처 관련 연산(예: 스킵 커넥션 등)이 연산 탐색 과정에서 유지되어 유의미한 아키텍처 옵션을 유지할 수 있도록 하기 위해.

제안 방법

• 후보 엣지 간의 쌍별 조합으로 구성된 아키텍처 구조 탐색 공간을 도입하여, 아키텍처 선택의 연속적 리 릴랙세이션을 가능하게 한다.
• 엣지 조합 가중치를 사용해 아키텍처 중요도를 표현하며, 엣지의 조합 분포를 직접적으로 모델링한다.
• 탐색 과정을 두 단계로 분리한다: 연산 탐색(학습 가능한 연산 가중치 사용)과 아키텍처 탐색(엣지 조합 가중치 사용).
• 아키텍처 관련 연산(예: 스킵 커넥션 등)을 유지하기 위해 그룹 연산 탐색 전략을 적용한다.
• 효율성과 정확도 향상을 위해 축소된 슈퍼넷에서 아키텍처 탐색을 수행한다.
• 고정된 엣지 수 제약을 제거함으로써 엣지 수를 자유롭게 조정할 수 있도록 하여, 동적 최적 아키텍처 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 DARTS의 연산 가중치가 단독 모델에서 다양한 아키텍처의 성능 순위를 정확히 반영할 수 있는가?
• RQ2 아키텍처 표현을 연산 가중치에서 분리함으로써 더 정확하고 신뢰할 수 있는 아키텍처 선택이 가능해지는가?
• RQ3 엣지 조합 기반의 아키텍처 탐색 공간이 직접 엣지 가중치를 사용하는 것보다 탐색 효율성과 정확도를 향상시키는가?
• RQ4 연산 탐색 과정에서 아키텍처 관련 연산을 유지함으로써 최종 아키텍처 품질에 어떤 영향을 미치는가?
• RQ5 기존의 기울기 기반 NAS 방법들이 분리된 연산 및 아키텍처 탐색 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• 동일한 연산 탐색 결과를 사용할 때, DOTS는 CIFAR100에서 DARTS 대비 2.33% 향상된 정확도(80.74% → 83.07%)를 달성한다.
• 제안된 엣지 조합 가중치 전략은 CIFAR10에서 PC-DARTS 대비 0.13% 높은 성능을 보이며, 아키텍처 탐색 목표와 더 잘 일치함을 입증한다.
• 고정된 엣지 수 제약을 제거함으로써 DOTS의 성능은 CIFAR100에서 83.72%에서 83.92%로 향상되어, 유연성의 이점이 확인된다.
• 그룹 연산 탐색 전략은 DARTS-Top1 대비 CIFAR100에서 정확도를 0.65% 향상시켜, 아키텍처 관련 연산을 유지하는 것이 중요함을 확인한다.
• DOTS는 단지 0.26 GPU일의 자원으로 CIFAR10에서 97.51%의 정확도를 달성하여 높은 효율성을 입증한다.
• 이 방법은 기존 기울기 기반 NAS 방법들과 호환되며, 아키텍처 탐색을 통해 추가적인 성능 향상을 가능하게 한다.