[논문 리뷰] TextNAS: A Neural Architecture Search Space tailored for Text Representation

Yujing Wang, Yaming Yang외 8명|arXiv (Cornell University)|2019. 12. 23.

Topic Modeling참고 문헌 40인용 수 4

한 줄 요약

TextNAS는 다중 경로 앙상블 구조에서 합성곱, 순환, 풀링 및 자기어텐션 레이어를 통합한 텍스트 표현을 위한 맞춤형 신경망 아키텍처 탐색 공간을 제안한다. ENAS 강화학습 알고리즘을 사용하여 텍스트 분류 및 자연어 추론 작업에서 최신 기술을 초월하는 아키텍처를 발견하며, 높은 전이 가능성과 함께 최상의 성능을 달성한다.

ABSTRACT

Learning text representation is crucial for text classification and other language related tasks. There are a diverse set of text representation networks in the literature, and how to find the optimal one is a non-trivial problem. Recently, the emerging Neural Architecture Search (NAS) techniques have demonstrated good potential to solve the problem. Nevertheless, most of the existing works of NAS focus on the search algorithms and pay little attention to the search space. In this paper, we argue that the search space is also an important human prior to the success of NAS in different applications. Thus, we propose a novel search space tailored for text representation. Through automatic search, the discovered network architecture outperforms state-of-the-art models on various public datasets on text classification and natural language inference tasks. Furthermore, some of the design principles found in the automatic network agree well with human intuition.

연구 동기 및 목표

• 다양한 아키텍처가 존재하는 문헌에도 불구하고 여전히 비틀림이 있는 최적의 텍스트 표현 네트워크 설계 문제를 해결하기 위해.
• 탐색 공간이 NAS에서 중요한 인간의 사전 지식임을 입증하기 위해, 단지 탐색 알고리즘만이 중요한 것이 아님을 보여주기 위해.
• 레이어 혼합과 다중 경로 앙샘블을 지원하는 텍스트 전용 마크로 수준의 탐색 공간을 설계하기 위해.
• 텍스트 분류 및 NLI 작업을 위한 고성능이고 전이 가능한 아키텍처를 자동으로 발견하기 위해.
• 자동으로 발견된 아키텍처가 인간의 직관과 일치하며 수동으로 설계된 기준 모델을 초월함을 검증하기 위해.

제안 방법

• 합성곱, 순환, 풀링 및 자기어텐션 레이어를 지원하는 방향성 비순환 그래프(DAG) 기반의 마크로 탐색 공간을 설계하기 위해.
• 다양한 유형의 레이어가 별개의 특징 추출기로 작동할 수 있도록 다중 경로 앙샘블을 통합하기 위해.
• 검증 정확도를 보상 신호로 사용하는 ENAS 강화학습 알고리즘을 적용하여 최적의 아키텍처를 탐색하기 위해.
• 검증 세트에서 최적의 초모수를 도출하기 위해 최적의 아키텍처에 대해 격자 탐색을 수행하기 위해.
• 최적의 초모수를 사용하여 최종 아키텍처를 병합된 훈련 및 검증 데이터로부터 처음부터 훈련하기 위해.
• 탐색 과정을 재실행하지 않고도 발견된 아키텍처를 다른 텍스트 작업으로 전이하기 위해.

실험 결과

연구 질문

• RQ1 일반적이거나 마이크로 수준의 탐색 공간과 비교해 볼 때, 맞춤형 탐색 공간이 텍스트 표현에서 NAS 성능을 크게 향상시킬 수 있는가?
• RQ2 다중 경로 앙샘블을 갖춘 마크로 탐색 공간이 텍스트 분류 작업에서 마이크로 탐색 공간을 초월하는가?
• RQ3 TextNAS를 통해 자동으로 발견된 아키텍처가 하류 텍스트 분류 및 NLI 작업에서 최신 기술 성능을 달성할 수 있는가?
• RQ4 자동으로 발견된 아키텍처가 인간이 설계한 설계 원칙을 어느 정도 반영하는가?
• RQ5 발견된 아키텍처는 다양한 텍스트 데이터셋과 작업 간에 얼마나 전이 가능한가?

주요 결과

• TextNAS는 Sogou를 제외한 모든 텍스트 분류 데이터셋에서 최상의 테스트 정확도를 달성했으며, YAHOO 데이터셋에서 66.56%의 정확도를 기록하여 이전 방법들을 능가했다.
• SNLI 및 MNLI-NLI 데이터셋에서 TextNAS는 SNLI에서 87.4%의 정확도, MNLI-matched에서 74.9%의 정확도를 기록했으며, 24층 트랜스포머(각각 85.2% 및 70.4%)를 크게 능가했다.
• 모든 평가된 텍스트 분류 작업에서 마크로 탐색 공간이 마이크로 탐색 공간을 능가했으며, AMZ 데이터셋에서 최대 4.55%의 성능 향상을 기록했다.
• 자동으로 발견된 아키텍처는 강력한 전이 가능성을 보였으며, 탐색 과정을 재실행하지 않고도 여러 하류 작업에서 최상의 성능을 달성했다.
• TextNAS가 발견한 아키텍처 설계 원칙은 인간의 직관과 잘 맞아, 예를 들어 국소적 특징 추출을 위해 CNN, 순차적 모델링을 위해 RNN, 장거리 의존성을 위해 자기어텐션을 조합하는 방식이다.
• 탐색 과정은 효율적이고 확장 가능했으며, 작은 데이터셋에서 발견한 후 성능 향상이 일관되게 유지되도록 큰 데이터셋으로 전이할 수 있었다.