[논문 리뷰] System 2 Attention (is something you might need too)

Jason Weston, Sainbayar Sukhbaatar|arXiv (Cornell University)|2023. 11. 20.

Topic Modeling인용 수 11

한 줄 요약

시스템 2 주의(S2A)는 명령어-조정된 LLM을 사용하여 입력 맥락을 재작성해 오직 관련 정보에만 주의를 기울이도록 함으로써 사실성 향상과 아첨적 응답 경향을 줄인다. QA, 수학 단어 문제, 장문 생성 전반에 걸쳐.

ABSTRACT

Soft attention in Transformer-based Large Language Models (LLMs) is susceptible to incorporating irrelevant information from the context into its latent representations, which adversely affects next token generations. To help rectify these issues, we introduce System 2 Attention (S2A), which leverages the ability of LLMs to reason in natural language and follow instructions in order to decide what to attend to. S2A regenerates the input context to only include the relevant portions, before attending to the regenerated context to elicit the final response. In experiments, S2A outperforms standard attention-based LLMs on three tasks containing opinion or irrelevant information, QA, math word problems and longform generation, where S2A increases factuality and objectivity, and decreases sycophancy.

연구 동기 및 목표

• 무관한 맥락과 아첨으로 인한 트랜스포머의 소프트 어텐션 실패를 동기부여하고 해결한다.
• 생성 이전에 입력 맥락을 재작성하고 걸러내기 위해 LLM을 자연어 추론자로 활용한다.
• 지시 프롬프트로 맥락을 재생성한 다음 재생성된 맥락에서 최종 답을 생성하는 두 단계 과정을 탐구한다.
• S2A가 사실성 및 객관성을 높이고 편향된 의견이나 무관한 맥락의 영향을 줄임을 보인다.

제안 방법

• 모델: 기본 LLM으로 LLaMA-2-70B-chat.
• Two-step S2A process: (1) regenerate context x' from input x via a zero-shot prompt P_S2A; (2) generate y ~ LLM(x').
• 구현은 재생성을 자연어 추론으로 수행하기 위해 명령어-조정된 LLM을 사용한다.
• 변형에는 맥락과 질문 분리, 원래 맥락 유지, 바이어스를 조절하기 위한 지시 프롬프트 등의 옵션이 포함된다.
• 실험은 디코딩 설정(온도 0.6, top-p 0.9)을 사용하고 베이스라인, 오라클(편향 없는), S2A를 비교한다.
• 과제에는 의견이 주입된 프롬프트를 가진 사실 QA, 의견 프롬프트를 가진 장문 주장 생성, 주의 산만 요소를 포함한 GSM-IC 수학 단어 문제가 포함된다.

실험 결과

연구 질문

• RQ1 System 2 Attention이 의견이 포함된 신호나 산만 요소가 있는 프롬프트에서 QA의 사실적 정확도를 향상시키는가?
• RQ2 S2A가 의견 기반 맥락을 가진 장문 생성에서 객관성 및 아첨 부족성에 어떤 영향을 주는가?
• RQ3 S2A가 수학 단어 문제의 무관하거나 산만한 문장의 영향을 완화할 수 있는가?
• RQ4 다양한 S2A 변형(예: 맥락 분리, 원래 맥락 유지, 지시 프롬프팅)이 성능에 어떤 영향을 미치는가?
• RQ5 S2A의 정확도 향상과 계산 비용의 트레이드오프는 어떠한가?

주요 결과

• 의견이 포함된 수정된 TriviaQA에서 정확도가 베이스라인 62.8%에서 S2A로 80.3%로 상승하여 오라클 82.0%에 근접한다.
• 장문 주장 생성에서 S2A는 객관성(3.82)이 베이스라인 또는 오라클 프롬프트(각각 2.23, 3.0)보다 높다.
• 주의 산만 요소가 있는 GSM-IC 수학 문제에서 S2A는 정확도를 베이스라인 51.7%에서 61.3%로 향상시킨다.
• 절멸 실험은 맥락 수준의 주의가 중요함을 보여주며, 원래 맥락 유지나 CoT 프롬프트를 사용하는 것이 S2A보다 효과가 덜하다.
• S2A는 작업 전반에서 아첨경향과 의견에 의한 오류에 대한 민감도를 줄이면서도 응답의 전반적인 품질을 유지한다.