[논문 리뷰] The Dual Form of Neural Networks Revisited: Connecting Test Time Predictions to Training Patterns via Spotlights of Attention

Kazuki Irie, Róbert Csordás외 1명|arXiv (Cornell University)|2022. 02. 11.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 신경망의 선형 레이어의 이중 형태를 재검토하며, 모든 훈련 데이터 포인트와 초기 가중치에 대한 비정규화된 내적 어텐션으로 표현한다. 테스트 시점에 어텐션 가중치를 계산함으로써 예측에 영향을 주는 훈련 패턴을 직접 시각화할 수 있으며, 이는 계산 능력의 제약에도 불구하고 비록 소규모 규모이지만 시각 및 언어 작업 모두에서 입력과 출력 간의 해석 가능하고 맥락에 민감한 연결 고리를 드러낸다.

ABSTRACT

Linear layers in neural networks (NNs) trained by gradient descent can be expressed as a key-value memory system which stores all training datapoints and the initial weights, and produces outputs using unnormalised dot attention over the entire training experience. While this has been technically known since the 1960s, no prior work has effectively studied the operations of NNs in such a form, presumably due to prohibitive time and space complexities and impractical model sizes, all of them growing linearly with the number of training patterns which may get very large. However, this dual formulation offers a possibility of directly visualising how an NN makes use of training patterns at test time, by examining the corresponding attention weights. We conduct experiments on small scale supervised image classification tasks in single-task, multi-task, and continual learning settings, as well as language modelling, and discuss potentials and limits of this view for better understanding and interpreting how NNs exploit training patterns. Our code is public.

연구 동기 및 목표

• 훈련된 신경망의 선형 레이어를 전체 훈련 데이터셋에 대한 어텐션 메커니즘으로 재해석하여, 테스트 시점의 예측을 훈련 패턴으로 직접 추적할 수 있도록 한다.
• 이 이중 형태에서의 어텐션 가중치가 테스트 입력과 특정 훈련 예제 사이의 의미적이고 인간이 이해할 수 있는 관계를 드러내는지 탐색한다.
• 이 접근법의 타당성과 해석 가능성을 소규모 이미지 분류 및 언어 모델링 작업에서 평가한다.
• 어텐션 패턴이 테스트 쿼리와 훈련 데이터 간의 의미적 및 구조적 유사성을 어떻게 반영하는지, 특히 소수의 예제나 분포 외 일반화의 경우를 중심으로 조사한다.
• 이 방법의 메모리, 계산 비용, 기존에 훈련된 모델에의 적용 가능성 측면에서의 한계를 평가한다.

제안 방법

• 딥 신경망의 선형 레이어의 전방향 계산을, 모든 훈련 입력-출력 쌍을 키와 값으로 간주하여 전체 훈련 데이터셋에 대한 비정규화된 내적 어텐션으로 표현한다.
• 테스트 입력을 쿼리로 사용하여 모든 훈련 패턴을 대상으로 어텐션 점수를 계산하며, 어텐션 가중치는 관련성을 나타낸다.
• 훈련 중 선형 레이어의 입력을 기록하고, 추론 시점에 어텐션 가중치를 계산하여 테스트 예측과 훈련 데이터를 연결한다.
• MNIST와 Fashion-MNIST에 대해 피드포워드 네트워크, WikiText-2와 Aesop’s Fables와 같은 텍스트 데이터셋에 대해 LSTMs에 이 방법을 적용한다.
• 상위 어텐션을 받는 훈련 토큰이나 이미지 패치를 시각화하여 어텐션이 의미적 또는 구조적 유사성과 일치하는지 평가한다.
• 키는 훈련 입력, 값은 훈련 타겟, 쿼리는 테스트 입력에서 유도되는 키-밸류 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 신경망 선형 레이어의 이중 형태에서 어텐션 가중치는 어떤 특정 훈련 예제가 테스트 예측에 가장 기여하는지 드러낼 수 있는가?
• RQ2 가장 높은 어텐션을 받는 훈련 패턴은 테스트 입력과 의미적 또는 구조적으로 유사한가? 이는 맥락 기반 추론을 나타내는가?
• RQ3 단일 작업, 다중 작업, 지속적 학습과 같은 다양한 학습 시나리오에서 이중형 어텐션 메커니즘이 어떻게 행동하는가?
• RQ4 이 방법을 통해 대규모 모델의 일반화, 예를 들어 제로샷 번역이나 소수의 예제 기반 추론을 설명할 수 있는가? 이를 위해 원천 훈련 예제를 식별할 수 있는가?
• RQ5 이 방법의 실용적 한계는 메모리, 계산 비용, 실제 모델에의 적용 가능성 측면에서 어떻게 드러나는가?

주요 결과

• 이미지 분류 작업에서는, 테스트 시점의 어텐션 구조가 다중 작업 및 지속적 학습 환경에서도 유사한 클래스 레이블과 시각적 패턴을 가진 훈련 예제에 일관되게 집중하는 경향을 보였다.
• 언어 모델링 작업에서는 상위 어텐션을 받는 훈련 문단이 테스트 쿼리와 의미적·구조적으로 유사했으며, 예를 들어 철갑함 관련 텍스트를 요청했을 때도 철갑함 관련 텍스트에 어텐션을 기울였다.
• 유사한 문장 구조를 가졌지만 관련 없는 내용을 가진 부정 예제들은 낮은 어텐션 가중치를 받았으며, 이는 어텐션이 문맥에 민감하고 순수히 문법적 요소에 의존하지 않음을 시사한다.
• 이 방법은 전체 훈련 경험에 대한 어텐션을 성공적으로 시각화하여, 시각 및 언어 작업 모두에서 테스트 입력과 훈련 데이터 간의 해석 가능한 연결 고리를 드러냈다.
• 높은 메모리 및 계산 비용에도 불구하고, 이 방법은 소규모 데이터셋에서의 타당성을 입증하였으며, 하드웨어 발전에 따라 대규모 모델로의 확장 가능성도 시사한다.
• 이 분석은 훈련 중 선형 레이어의 입력을 기록해야 하므로, 기존에 훈련된 모델에는 적용 불가능하며, 후행 분석에 제한을 받는다.