[논문 리뷰] Exposing Attention Glitches with Flip-Flop Language Modeling

Bingbin Liu, Jordan T. Ash외 3명|arXiv (Cornell University)|2023. 06. 01.

Topic Modeling인용 수 8

한 줄 요약

논문은 트랜스포머에서 장기 추론을 탐구하기 위해 flip-flop 언어 모델링(FFLM)을 도입하고, 작업 전반에서 재현되는 주의(glitches)의 긴 꼬리 현상을 보여주며, 순환 모델 및 데이터/정규화 개선이 이러한 오류를 완전히 제거하지는 못하지만 완화할 수 있음을 시연한다.

ABSTRACT

Why do large language models sometimes output factual inaccuracies and exhibit erroneous reasoning? The brittleness of these models, particularly when executing long chains of reasoning, currently seems to be an inevitable price to pay for their advanced capabilities of coherently synthesizing knowledge, pragmatics, and abstract thought. Towards making sense of this fundamentally unsolved problem, this work identifies and analyzes the phenomenon of attention glitches, in which the Transformer architecture's inductive biases intermittently fail to capture robust reasoning. To isolate the issue, we introduce flip-flop language modeling (FFLM), a parametric family of synthetic benchmarks designed to probe the extrapolative behavior of neural language models. This simple generative task requires a model to copy binary symbols over long-range dependencies, ignoring the tokens in between. We find that Transformer FFLMs suffer from a long tail of sporadic reasoning errors, some of which we can eliminate using various regularization techniques. Our preliminary mechanistic analyses show why the remaining errors may be very difficult to diagnose and resolve. We hypothesize that attention glitches account for (some of) the closed-domain hallucinations in natural LLMs.

연구 동기 및 목표

• 자 autoregressive 모델의 장기 추론과 기억력을 연구하기 위한 최소한의 제어 가능한 벤치마크를 동기화한다.
• Transformer 주의가 flip-flop 스타일 기억 작업에서 신뢰성 격차(글리치)를 유도하는지 분리한다.
• 데이터 다변화와 정규화 기법이 주의 글리치를 감소시키는 효과를 평가한다.
• 메모리 기반 작업에서 Transformer의 외삽(extrapolation)을 순환 아키텍처와 비교한다.
• 주의 글리치가 왜 발생하는지, 그리고 왜 제거하기 어려운지에 대한 기계적 통찰을 제공한다.

제안 방법

• 길이가 T인 flip-flop 문자열에 대한 파라메트릭 분포로서 FFLM을 정의하고 지시(write, read, ignore)와 단일 메모리 비트를 포함한다.
• 생성형 및 결정형 FFLM 설정에서 Transformer 및 LSTM 모델을 평가하여 외삽과 읽기 정확도를 측정한다.
• 드문/분포 밖 시퀀스(희소도/밀도 변화)에서 꼬리 동작을 분석하고(FFL(0.98) 및 FFL(0.1)) 여러 시드 간 재현성을 보고한다.
• 주의 샤프닝, 임베딩 드롭아웃 등 정규화 기법을 잠재적 완화책으로 조사한다.
• 주의 패턴을 flip-flop 기억 및 오류 모드와 연결하는 기계적 분석을 제공한다.

실험 결과

연구 질문

• RQ1 Transformer 모델이 flip-flop 언어를 신뢰성 있게 학습하고 외삽하는가, 아니면 주의 글리치의 긴 꼬리를 보이는가?
• RQ2 정규화, 주의 샤프닝, 데이터 다변화가 Transformer의 flip-flop 오류 발생을 줄일 수 있는가?
• RQ3 장장기 의존성 하에서 flip-flop 기억 작업에서 LSTM은 Transformer와 비교해 어떤 성능을 보이는가?
• RQ4 주목 글리치의 내부 메커니즘은 무엇이며, 왜 제거하기 어려운가?
• RQ5 대규모 자연어 모델의 emergent 능력이 합성 flip-flop 작업에 robust하게 일반화되는가?

주요 결과

• Transformers는 flip-flop 언어 작업을 완벽하게 학습하지 못하고, 장거리 및 근거리 의존 모두에서 산발적 읽기 오류의 긴 꼬리를 보인다.
• 연구 조건에서 LSTM은 flip-flop 작업을 외삽하는 데에 있어 Transformer보다 강건성을 보여 완벽하게 일반화한다.
• 희귀하고 분포 밖인 flip-flop 시퀀스에 대한 학습은 오류를 크게 줄이며, 때로는 여러 실행에 걸쳐 제거되기도 한다.
• 주의 샤프닝 및 기타 정규화는 오류율을 몇 자리 수만큼 감소시킬 수 있지만 글리치를 완전히 제거하지는 못한다.
• 데이터 규모를 늘리는 것이 다변화된 학습 데이터만큼 큰 이득을 주지는 않으며, 다변화가 로버스트니스를 더 크게 개선한다.
• 주의 글리치에는 소프트 어텐션 희석, 비이상적 타이브레이킹 등을 포함한 여러 메커니즘이 있으며 이는 잘못된 의존성을 초래할 수 있다.