[논문 리뷰] The Neural Data Router: Adaptive Control Flow in Transformers Improves Systematic Generalization

Róbert Csordás, Kazuki Irie외 1명|arXiv (Cornell University)|2021. 10. 14.

Neural Networks and Applications인용 수 8

한 줄 요약

논문은 체계적 일반화를 위한 적응형 제어 흐름을 가능하게 하는 복사 게이트와 기하학적 어텐션을 갖춘 수정된 트랜스포머 아키텍처인 신경 데이터 라우터(NDR)를 제안한다. NDR는 구성적 표 테이블 룩업 작업에서 100% 길이 일반화 정확도를 달성하고 산술 및 ListOps 작업에서 거의 완벽한 성능을 보이며, 해석 가능한 어텐션과 게이팅 패tern이 직관적인 신경 라우팅을 띄고 있음.

ABSTRACT

Despite progress across a broad range of applications, Transformers have limited success in systematic generalization. The situation is especially frustrating in the case of algorithmic tasks, where they often fail to find intuitive solutions that route relevant information to the right node/operation at the right time in the grid represented by Transformer columns. To facilitate the learning of useful control flow, we propose two modifications to the Transformer architecture, copy gate and geometric attention. Our novel Neural Data Router (NDR) achieves 100% length generalization accuracy on the classic compositional table lookup task, as well as near-perfect accuracy on the simple arithmetic task and a new variant of ListOps testing for generalization across computational depths. NDR's attention and gating patterns tend to be interpretable as an intuitive form of neural routing. Our code is public.

연구 동기 및 목표

• 표준 트랜스포머가 체계적 일반화에서 지속적으로 실패하는 문제, 특히 조합적 추론이 필요한 알고리즘 작업에서의 실패를 해결하기 위해.
• 아키텍처 수정이 적응형 제어 흐름을 갖는 해석 가능한 기호 유사 솔루션을 학습하도록 트랜스포머를 이끌 수 있는지 조사하기 위해.
• 트랜스포머 아키텍처에 명시적 라우팅 메커니즘을 통합하여 더 긴 시퀀스와 더 깊은 계산 구조로의 일반화를 향상시키기 위해.
• 제안된 모델에서 어텐션과 게이팅 패턴이 직관적이고 인간이 읽을 수 있는 제어 흐름을 반영하는지 검증하기 위해.

제안 방법

• 입력 토큰이 레이어 간에 유지되도록 허용하는 복사 게이트 메커니즘을 도입하여 변환을 선택적으로 건너뛰고 트랜스포머 격자 내 수직적 데이터 흐름을 지원한다.
• 기하학적 어텐션을 제안하여 어텐션을 가능한 모든 매칭이 아닌 가장 가까운 관련 토큰에 집중하도록 유도함으로써 순차 처리에서 국소화를 향상시킨다.
• 복사 게이트와 기하학적 어텐션을 조합하여 데이터 의존성에 따라 운영을 적응적으로 순차화하는 신경 데이터 라우팅 메커니즘을 형성한다.
• 복잡한 계산 그래프를 지원하기 위해 깊이가 깊고 가중치가 연결된 트랜스포머 아키텍처를 사용하여 계층적 연산에 필요한 충분한 깊이를 확보한다.
• 잔차 연결과 게이팅된 스킵 연결을 사용하여 기울기 흐름을 유지하면서 동시에 다양한 레이어에서 입력의 선택적 처리를 가능하게 한다.
• 길이 일반화와 깊이 일반화 목표를 갖는 알고리즘 작업에서 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 트랜스포머에 대한 아키텍처 수정이 조합적 추론이 필요한 알고리즘 작업에서 체계적 일반화를 가능하게 할 수 있는가?
• RQ2 복사 게이트와 기하학적 어텐션의 도입이 직관적인 제어 흐름을 띄는 더 해석 가능한 어텐션과 게이팅 패턴을 유도하는가?
• RQ3 표현적 표 테이블 룩업 작업에서 100% 일반화 정확도를 달성할 수 있는가? 이 작업은 기존 표준 트랜스포머에 매우 어려운 것으로 알려져 있다.
• RQ4 ListOps와 산술 작업과 같은 작업에서 더 긴 시퀀스와 더 깊은 계산 트리로의 일반화 정도는 어느 정도인가?

주요 결과

• 신경 데이터 라우터(NDR)는 구성적 표 테이블 룩업 작업에서 100% 일반화 정확도를 달성하였으며, 이는 이전 문헌에서 보고된 바가 없는 결과이다.
• 간단한 산술 작업에서 NDR는 거의 완벽한 일반화 정확도를 달성하여 다양한 시퀀스 길이에 걸쳐 강력한 체계적 일반화 성능을 보였다.
• 계산 깊이에 걸쳐 조합적 일반화를 테스트하기 위해 새롭게 설계된 ListOps의 변종에 대해 NDR는 거의 완벽한 정확도를 달성하여 계층적 구조를 효과적으로 처리하고 있음을 시사한다.
• NDR의 어텐션과 게이팅 패턴을 시각화한 결과, 해석 가능한 인간이 읽을 수 있는 제어 흐름을 보였다: 게이팅은 모든 피연산자가 확보될 때까지 닫혀 있으며, 어텐션은 체계적이고 계층적인 방식으로 관련 연산에 집중한다.
• NDR의 어텐션과 게이팅 다이내믹스는 깊이 우선, 의존성 인식 순서로 운영이 이루어지는 타당한 신경 라우팅 메커니즘과 부합한다.