[논문 리뷰] An Algorithm for Routing Vectors in Sequences

Franz A. Heinsen|arXiv (Cornell University)|2022. 11. 20.

Machine Learning in Bioinformatics인용 수 9

한 줄 요약

이 논문은 입력 시퀀스에서 출력 벡터를 계산하기 위해 '비트당 성과'(bang per bit)를 최대화하는 매우 최적화된 라우팅 알고리즘을 소개한다. 이는 데이터를 사용하는 데서 얻는 순이익과 무시할 경우의 비용 간의 차이를 의미한다. 이 방법은 네 개의 미분 가능한 신경망을 사용하여 엔드 투 엔드 신뢰도 할당을 가능하게 하며, 파라미터 공유, 게으른 평가, 텐서 수축 최적화를 통해 메모리와 계산 비용을 수십만 배 감소시키면서도 자연어 처리 및 비전 작업에서 최신 기준 성능을 달성한다.

ABSTRACT

We propose a routing algorithm that takes a sequence of vectors and computes a new sequence with specified length and vector size. Each output vector maximizes "bang per bit," the difference between a net benefit to use and net cost to ignore data, by better predicting the input vectors. We describe output vectors as geometric objects, as latent variables that assign credit, as query states in a model of associative memory, and as agents in a model of a Society of Mind. We implement the algorithm with optimizations that reduce parameter count, computation, and memory use by orders of magnitude, enabling us to route sequences of greater length than previously possible. We evaluate our implementation on natural language and visual classification tasks, obtaining competitive or state-of-the-art accuracy and end-to-end credit assignments that are interpretable.

연구 동기 및 목표

• 딥 러닝에서의 신뢰도 할당 문제를 해결하기 위해 모델 결정에 대한 입력 구성 요소 기반의 해석 가능한 기여도를 제공한다.
• 계산 및 메모리 복잡도를 줄여 장거리 시퀀스(최대 100만 개의 벡터)로 라우팅 알고리즘을 확장한다.
• 기하학적, 잠재 변수, 연상 기억, 마인드의 사회성 이론적 관점들을 하나의 라우팅 프레임워크로 통합한다.
• 대규모 자연어 처리 및 비전 벤치마크에서 경쟁 가능한 성능을 달성하면서도 최소한의 계산 오버헤드를 제공하는 라우팅 시스템을 구현한다.
• 모델 분석 및 디버깅을 위해 완전히 해석 가능하고, 서로 다른 신뢰도 할당이 가능한 엔드 투 엔드 신뢰도 할당 메커니즘을 제공한다.

제안 방법

• 알고리즘은 네 개의 신경망을 사용한다: $\mathcal{A}$는 입력 활성도 점수를, $\mathcal{F}$는 입력에서 제안된 출력 벡터를 생성하며, $\mathcal{G}$는 출력에서 입력을 예측하고, $\mathcal{S}$는 예측과 실제 입력 간의 일치도를 평가한다.
• 출력 벡터는 '비트당 성과'를 최대화함으로써 동시에 반복적으로 업데이트되며, 이는 데이터를 사용하는 데서 얻는 순이익과 무시할 경우의 비용 간의 차이로 정의된다.
• 네트워크 $\mathcal{F}$는 스케일된 텐서 곱과 선형 변환에 위치별 바이어스를 조합한 형태로 최적화되어 파라미터 수를 크게 감소시킨다.
• $\mathcal{F}$의 출력을 게으르게 평가함으로써 중간 값 저장을 방지하여 메모리 사용을 수십만 배 감소시킨다.
• 업데이트된 출력 상태 계산은 효율적인 텐서 수축으로 분해되어 메모리와 계산을 최소화한다.
• 이 방법은 입력 길이, 벡터 크기, 출력 벡터 수, 출력 크기 모두에 대해 선형 스케일링을 지원하여 자원 사용을 제어할 수 있다.

실험 결과

연구 질문

• RQ1 장거리 시퀀스(예: 100만 개의 벡터)에 대해 저비용의 계산과 메모리 사용을 유지하면서도 확장 가능한 라우팅 알고리즘을 설계할 수 있는가?
• RQ2 '비트당 성과' 최적화가 딥 네트워크에서 더 나은 예측 성능과 더 해석 가능한 신뢰도 할당을 이끌 수 있는가?
• RQ3 기하학적, 잠재 변수, 연상 기억, 다중 에이전트 시스템 관점 간의 라우팅을 어떻게 통합할 수 있는가?
• RQ4 라우팅 메커니즘이 대규모 자연어 처리 및 비전 벤치마크에서 최신 기준 성능을 달성하면서도 엔드 투 엔드 신뢰도 할당을 가능하게 할 수 있는가?
• RQ5 파라미터 공유, 게으른 평가, 텐서 최적화를 통해 계산 및 메모리 오버헤드를 얼마나 줄일 수 있는가?

주요 결과

• 알고리즘은 각 요소가 1024개인 최대 100만 개의 벡터로 구성된 시퀀스를 성공적으로 라우팅하여 이전의 라우팅 방법을 뛰어넘는 확장성을 입증했다.
• IMDB 감성 분류 작업에서 96.2%의 정확도를 기록하여 새로운 최신 기준 성능을 달성했다.
• ImageNet-1K 분류 작업에서 BEiT-large를 사용해 86.7%의 상위-1 정확도를 달성하여 비전 벤치마크에서 뛰어난 성능을 보였다.
• 엔드 투 엔드 신뢰도 할당 행렬은 최대 4925 × 1000 요소까지 계산 가능하여 서브워드 토큰과 이미지 패치에 대한 세밀한 기여도 할당이 가능하다.
• 관측된 가장 큰 신뢰도 할당 행렬은 196개 패치로 구성된 이미지 입력에 대해 25개의 Transformer 깊이 수준에서 발생했으며, 이는 공간적이고 계층적인 기여도 할당을 상세히 보여준다.
• 신뢰도 할당은 해석 가능하다: 비전 작업에서는 깊이가 깊어질수록 특정 신체 부위(예: 코, 발톱)에 주목하는 경향을 보이며, 자연어 처리에서는 레이어 전반에 걸쳐 감성과 관련된 핵심 어구에 주목한다.