[논문 리뷰] Temporal Latent Bottleneck: Synthesis of Fast and Slow Processing Mechanisms in Sequence Learning

Aniket Didolkar, Kshitij Gupta외 5명|arXiv (Cornell University)|2022. 05. 30.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

이 논문은 시퀀스의 압축되고 고수준의 표현을 학습하기 위해 빠른 트랜스포머 기반의 감각 스트림과 느린 순환 스트림을 조합한 두 스트림 아키텍처인 시간적 잠재 복합체(Temporal Latent Bottleneck, TLB)를 제안한다. 고정 길이의 청크에서 정보를 압축된 복합체 상태로 강제로 통합하고 이를 빠른 스트림을 조절하는 데 사용함으로써, 모델은 시퀀스 학습 과제에서 더 높은 샘플 효율성과 일반화 성능을 달성한다. 이는 시각적 인식 및 의사결정 기준에서 강력한 베이스라인을 능가하며, 장수열 복사 과제에서 완벽한 정확도를 달성한다.

ABSTRACT

Recurrent neural networks have a strong inductive bias towards learning temporally compressed representations, as the entire history of a sequence is represented by a single vector. By contrast, Transformers have little inductive bias towards learning temporally compressed representations, as they allow for attention over all previously computed elements in a sequence. Having a more compressed representation of a sequence may be beneficial for generalization, as a high-level representation may be more easily re-used and re-purposed and will contain fewer irrelevant details. At the same time, excessive compression of representations comes at the cost of expressiveness. We propose a solution which divides computation into two streams. A slow stream that is recurrent in nature aims to learn a specialized and compressed representation, by forcing chunks of $K$ time steps into a single representation which is divided into multiple vectors. At the same time, a fast stream is parameterized as a Transformer to process chunks consisting of $K$ time-steps conditioned on the information in the slow-stream. In the proposed approach we hope to gain the expressiveness of the Transformer, while encouraging better compression and structuring of representations in the slow stream. We show the benefits of the proposed method in terms of improved sample efficiency and generalization performance as compared to various competitive baselines for visual perception and sequential decision making tasks.

연구 동기 및 목표

• 표준 트랜스포머에서 시간적 압축을 위한 인덕티브 바이어스가 부족하여 샘플 효율성이 떨어지고 과적합이 발생하는 문제를 해결하기 위해.
• 인지 과학에 영감을 얻어, 빠르고 고용량 처리(예: 트랜스포머)와 느리고 압축된 장기 기억(예: RNN)을 통합하기 위해.
• 학습 가능한 복합체를 통한 선택적이고 계층적인 어텐션을 도입함으로써 시퀀스 모델링에서 일반화 성능과 샘플 효율성을 향상시키기 위해.
• 전체 시퀀스 어텐션 대신 청크 내부 및 청크 간 복합체 상호작용에 국한된 쌍방향 어텐션으로 계산 복잡도를 줄이기 위해.

제안 방법

• 입력 시퀀스는 K개의 시간 단위로 고정 길이의 청크로 나뉜다.
• 빠른 스트림은 표준 트랜스포머로 구현되어 각 청크를 독립적으로 처리하여 세밀하고 국소적인 표현을 포착한다.
• 느린 스트림은 순환 네트워크로 구현되어 청크당 한 번씩 업데이트되어 시퀀스 역사에 대한 압축된 고수준 표현을 유지한다.
• 느린 스트림의 은닉 상태는 시간적 잠재 복합체(TLB)로 작용하여 청크 간 장거리 의존성을 요약한다.
• 빠른 스트림은 복합체 상태를 참조하는 교차 어텐션을 통해 장기 기억에 기반한 맥락 인식 처리를 가능하게 한다.
• TLB에서 빠른 스트림으로 향하는 상향 피드백은 맥락 모델링을 향상시켜 장거리 과제에서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 빠른 국소 처리와 느린 압축 표현 학습을 조합한 두 스트림 아키텍처가 시퀀스 모델링에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 장기 기억을 위한 학습 가능한 순환 복합체를 도입함으로써 분포 외부 및 장수평 과제에서 일반화 성능이 향상되는가?
• RQ3 TLB 메커니즘은 전체 어텐션 트랜스포머 및 기타 효율적인 어텐션 변종과 비교해 성능 및 계산 비용 측면에서 어떻게 비교되는가?
• RQ4 복합체에서 빠른 스트림으로 향하는 상향 어텐션은 모델 성능을 얼마나 향상시키는가?
• RQ5 표준 트랜스포머가 실패하는 장수열 복사 과제에서 TLB 메커니즘은 완벽한 정확도를 유지할 수 있는가?

주요 결과

• 제안된 트랜스포머 + TLB 모델은 ListOps 과제에서 38.20 ± 0.0001%의 정확도를 달성하여 이전 청크에 어텐션을 갖는 베이스라인(32.10 ± 0.019%)보다 유의미하게 높은 성능을 보이며, TLB가 장거리 의존성을 포착할 수 있음을 입증한다.
• 복사 과제에서 시퀀스 길이가 600 이하일 경우 완벽한 정확도를 달성했으며, 피드백 트랜스포머 베이스라인은 400 토큰을 초과하면 성능 저하를 보였다. 이는 더 뛰어난 장기 맥락 일반화 성능을 의미한다.
• TLB 모델은 피드백 트랜스포머보다 샘플 효율성이 높았으며, 모든 시퀀스 길이에서 복사 과제에서 완벽한 정확도에 도달하기 위해 필요한 고유 샘플 수가 적었다.
• TLB에서 빠른 스트림으로 향하는 상향 어텐션을 제거하면 성능이 37.57 ± 0.003%로 떨어졌으며, 이는 최적 성능을 달성하기 위해 고수준 피드백의 중요성을 확인한다.
• 시각적 인식 및 순차적 의사결정과 같은 다양한 과제에서 TLB 모델은 일반화 성능과 샘플 효율성에서 일관된 향상을 보였다.