[논문 리뷰] Dynamic Inference with Neural Interpreters

Nasim Rahaman, Muhammad Waleed Gondal외 5명|arXiv (Cornell University)|2021. 10. 12.

Topic Modeling참고 문헌 47인용 수 9

한 줄 요약

이 논문은 자기주의 주의 기반 아키텍처인 Neural Interpreters를 소개한다. 이는 추론을 동적으로 라우팅되고 재사용 가능한 계산 모듈로 분해하는 '함수'라고 불리는 방식을 취한다. 이러한 함수들을 종단 간으로 학습함으로써, 모델은 강력한 체계적 일반화와 샘플 효율적인 소수의 예시에 대한 적응 능력을 달성하며, 시각적 추론 작업에서 분포 외 일반화 성능에서 비전 트랜스포머를 능가한다. 또한 추론 시 계산량과 정확도 사이의 동적 트레이드오프를 가능하게 한다.

ABSTRACT

Modern neural network architectures can leverage large amounts of data to generalize well within the training distribution. However, they are less capable of systematic generalization to data drawn from unseen but related distributions, a feat that is hypothesized to require compositional reasoning and reuse of knowledge. In this work, we present Neural Interpreters, an architecture that factorizes inference in a self-attention network as a system of modules, which we call \emph{functions}. Inputs to the model are routed through a sequence of functions in a way that is end-to-end learned. The proposed architecture can flexibly compose computation along width and depth, and lends itself well to capacity extension after training. To demonstrate the versatility of Neural Interpreters, we evaluate it in two distinct settings: image classification and visual abstract reasoning on Raven Progressive Matrices. In the former, we show that Neural Interpreters perform on par with the vision transformer using fewer parameters, while being transferrable to a new task in a sample efficient manner. In the latter, we find that Neural Interpreters are competitive with respect to the state-of-the-art in terms of systematic generalization

연구 동기 및 목표

• 깊은 신경망이 분포 외 데이터에 대한 체계적 일반화 능력에 한계를 보이는 문제를 해결하기 위해.
• 어텐션 및 CNN/RNN 아키텍처에서 고정된 계산 재사용 패턴을 완화하기 위해 모듈화되고 기능 기반의 추론 메커니즘을 도입하기 위해.
• 재사용 가능하고 조합 가능한 계산 단위를 통해 샘플 효율적인 소수의 예시에 대한 적응 능력과 사후 훈련 시 능력 확장을 가능하게 하기 위해.
• 학습된 모듈화된 계산이 시각적 및 추상적 추론에서 분포 내 및 분포 외 일반화를 모두 지원할 수 있음을 입증하기 위해.
• 해당 분석 및 시각화를 통한 재조합 가능한 계산 원천의 해석 가능성과 학습 가능성 탐구하기 위해.

제안 방법

• 모델은 자기주의 주의 네트워크를 학습 가능한 함수의 집합으로 분해하며, 각 함수는 계산 모듈로 기능한다.
• 입력은 토큰의 집합으로 처리되며, 미분 가능한 라우팅 메커니즘이 순차적으로 다른 함수들을 동적으로 선택하고 조합한다.
• 함수 적용은 비가역적이며 종단 간으로 훈련 가능하므로, 모델은 입력 맥락에 따라 어떤 함수를 적용하고 어떤 순서로 적용할지를 학습할 수 있다.
• 이 아키텍처는 입력 집합 크기 및 함수 수에 대해 무관하므로, 사전 훈련 후 새로운 함수를 추가함으로써 비파괴적인 능력 확장을 가능하게 한다.
• 함수 반복 횟수를 조절함으로써 언제라도 추론이 가능하며, 이는 추론 시 성능-계산량 트레이드오프를 가능하게 한다.
• 이 방법은 이미지 분류 및 시각적 추상적 추론(Raven’s Progressive Matrices)에 대해 평가되었으며, ViT 및 기타 최신 기술 모델과 비교되었다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처가 재사용 가능한 모듈화된 함수의 시퀀스를 동적으로 라우팅하여 체계적 일반화 능력을 향상시킬 수 있는가?
• RQ2 Neural Interpreters의 모듈화된 인덕티브 바이어스가 표준 어텐션 메커니즘보다 더 나은 소수의 예시에 대한 적응 능력과 분포 외 일반화 능력을 제공하는가?
• RQ3 함수 반복 횟수를 조절함으로써 성능과 계산량 사이의 트레이드오프를 유연하게 구현할 수 있는가? 즉, 언제라도 예측 기능을 수행할 수 있는가?
• RQ4 학습된 함수들이 추론 가능한, 재사용 가능한 계산 원천으로서 의미 있는 패턴을 가지는가?
• RQ5 사전 훈련 후 추가된 능력(예: 더 많은 함수)에 따라 모델의 성능가 어떻게 변화하는가?

주요 결과

• Neural Interpreters는 PGM 데이터셋에서 77.0%의 테스트 정확도를 달성하였으며, 비전 트랜스포머(72.7% 분포 내, 70.5% 테스트)와 이전 최고 성능 기록을 기록한 모델보다 6개 데이터셋 중 4개에서 분포 외 일반화 성능에서 뛰어난 성능을 보였다.
• 계산량을 절반으로 줄였을 때도 원래 성능의 80% 이상을 유지하여 강력한 언제라도 추론 능력을 입증하였다.
• 시각적 추론 벤치마크에서 Neural Interpreters는 'Extra.' 영역에서 91.8%의 정확도를 기록하였으며, 비전 트랜스포머(72.2% 분포 내, 16.4% 테스트)보다 분포 외 일반화 성능에서 뛰어난 성능을 보였다.
• 소수의 예시에 기반한 이미지 분류 작업에서 Neural Interpreters는 파라미터 수가 적은 상태에서 ViT의 성능을 따라잡고 강력한 샘플 효율적인 전이 학습 능력을 보였다.
• 아블레이션 연구 결과, 다양한 하이퍼파라미터 설정에서도 효과적인 라우팅이 가능했으며, 시각화 결과는 일관되고 해석 가능한 함수 사용 패턴이 존재함을 보여주었다.
• 모델는 비파괴적인 능력 확장을 보였다: 전체 네트워크를 재학습하지 않고도 새로운 함수를 추가하고 미세조정할 수 있었다.