[논문 리뷰] NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis

Anjul Tyagi, Cong Xie외 1명|arXiv (Cornell University)|2020. 09. 28.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

NAS-Navigator는 반복적 진화 탐색 알고리즘과 상호작용 가능한 시각적 인터페이스를 결합하여 인간 중심의 설명 가능하고 한 번에 수행되는 신경망 아키텍처 탐색을 가능하게 하는 시각적 분석 시스템이다. 이 시스템은 비전문가 사용자가 직관적인 시각적 피드백을 통해 탐색 과정을 안내할 수 있게 해, 최신 기술 대비 낮은 계산 비용을 유지하면서도 탐색 효율성과 성능을 향상시킨다.

ABSTRACT

Recent advancements in the area of deep learning have shown the effectiveness of very large neural networks in several applications. However, as these deep neural networks continue to grow in size, it becomes more and more difficult to configure their many parameters to obtain good results. Presently, analysts must experiment with many different configurations and parameter settings, which is labor-intensive and time-consuming. On the other hand, the capacity of fully automated techniques for neural network architecture search is limited without the domain knowledge of human experts. To deal with the problem, we formulate the task of neural network architecture optimization as a graph space exploration, based on the one-shot architecture search technique. In this approach, a super-graph of all candidate architectures is trained in one-shot and the optimal neural network is identified as a sub-graph. In this paper, we present a framework that allows analysts to effectively build the solution sub-graph space and guide the network search by injecting their domain knowledge. Starting with the network architecture space composed of basic neural network components, analysts are empowered to effectively select the most promising components via our one-shot search scheme. Applying this technique in an iterative manner allows analysts to converge to the best performing neural network architecture for a given application. During the exploration, analysts can use their domain knowledge aided by cues provided from a scatterplot visualization of the search space to edit different components and guide the search for faster convergence. We designed our interface in collaboration with several deep learning researchers and its final effectiveness is evaluated with a user study and two case studies.

연구 동기 및 목표

• 딥러닝을 위한 자동화된 한 번에 수행되는 신경망 아키텍처 탐색(NAS)에서 설명 가능성과 사용자 제어의 부족을 해결하기 위해.
• 가중치 공유와 진화적 탐색을 통해 높은 성능를 유지하면서도 NAS의 계산 부담을 줄이기 위해.
• 도메인 지식을 활용하여 탐색을 안내할 수 있도록 비전문가 사용자에게 시각적 도구를 제공하기 위해.
• 상호작용 가능한 시각적 피드백과 사용자 중심의 제어를 통해 탐색 수렴 시간과 최종 모델 정확도를 향상시키기 위해.
• 전문가 인터뷰, 통제 실험 및 사례 연구를 통해 시스템의 효과성을 평가하기 위해.

제안 방법

• 모든 후보 아키텍처의 탐색 공간을 나타내기 위해 가중치 공유 기반의 큰 템플릿 신경망을 사용한다.
• 반복적 진화 알고리즘이 템플릿에서 후보 네트워크를 샘플링하고 평가하며, 검증 정확도 기반의 적합도 점수를 사용한다.
• 다중 시각화 뷰 인터페이스는 '레고 뷰'를 통해 템플릿 설계를, '손실 차트 뷰'를 통해 학습 진행 상황을, '탐색 공간 뷰'를 통해 후보 아키텍처를 산점도로 시각화한다.
• 후보 네트워크의 각 노드에 대한 적합도 점수를 계산하고 '후보 정보 뷰'에 표시하여 사용자의 결정을 안내한다.
• 사용자는 적합도 점수를 바탕으로 템플릿 네트워크를 일시 정지, 중지, 편집할 수 있어 탐색 공간을 타겟팅하여 축소하고 아키텍처를 정밀하게 개선할 수 있다.
• 사용자가 소프트 제약 조건(예: 모델 크기 대비 정확도)을 적용하고 탐색의 진화 과정을 시간에 따라 추적할 수 있도록 하여 인간 중심의 제어를 지원한다.

실험 결과

연구 질문

• RQ1 시각적 분석은 한 번에 수행되는 신경망 아키텍처 탐색에서 설명 가능성과 사용자 제어를 어떻게 향상시킬 수 있는가?
• RQ2 상호작용 가능한 시각적 조작은 순수 자동화된 NAS 방법에 비해 탐색 시간을 단축시키고 성능을 향상시킬 수 있는가?
• RQ3 도메인 전문가들은 NAS를 위한 시각적 분석 인터페이스의 사용성과 효과성에 대해 어떻게 평가하는가?
• RQ4 사용자 중심의 간섭이 높은 성능의 아키텍처로의 수렴을 얼마나 가속화할 수 있는가?
• RQ5 복잡한 NAS 탐색 과정의 이해와 제어를 지원하는 데 가장 효과적인 시각적 설계 패턴은 무엇인가?

주요 결과

• NAS-Navigator의 개선된 한 번에 수행되는 NAS 알고리즘의 성능은 최신 기술 수준의 기준에 비해 최종 모델 정확도에서 유사한 수준이다.
• 시각적 분석과 인간 중심의 상호작용을 통합함으로써 순수 자동화된 방법에 비해 탐색 시간과 성능 향상이 추가로 이루어졌다.
• 전문가 참가자들은 소규모이지만 정보가 풍부한 사용자 상호작용이 탐색 수렴 시간과 최종 모델 품질에 상당한 영향을 미쳤다고 보고했다.
• 참가자들은 단일 산점도 뷰에서 후보 아키텍처를 시각화할 수 있는 기능이 탐색을 안내하고 유망한 영역을 식별하는 데 매우 유용하다고 평가했다.
• 피드백을 통해 반복 과정에서 적합도 점수의 변화를 시각화하면 의사결정을 더욱 향상시킬 수 있을 것이며, 이는 시간에 따른 추적 기능이 필요하다는 것을 시사한다.
• 전문가 인터뷰에서 시스템은 높이 평가되었으며, 사용자가 NAS 과정에 대해 투명성과 제어력을 확보할 수 있다는 점이 사용자에게 긍정적인 인상을 주었다.