[논문 리뷰] Self-Contrast: Better Reflection Through Inconsistent Solving Perspectives

Wenqi Zhang, Yongliang Shen외 5명|arXiv (Cornell University)|2024. 01. 04.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자기 모순(self-contrast)을 제안하며, 다양한 해결 관점을 생성하고, 그 격차를 대비하여 교정용 체크리스트를 구축함으로써 LLM의 추론 능력을 향상시키는 새로운 자기 반성 방법을 개발한다. 외부 피드백 없이도 과도한 자신감과 일관성 없는 자기 평가로 인한 불안정성을 완화함으로써, 자기 반성의 신뢰성을 높이고, 추론 및 번역 작업 전반에서 뚜렷한 성능 향상을 달성한다.

ABSTRACT

The reflection capacity of Large Language Model (LLM) has garnered extensive attention. A post-hoc prompting strategy, e.g., reflexion and self-refine, refines LLM's response based on self-evaluated or external feedback. However, recent research indicates without external feedback, LLM's intrinsic reflection is unstable. Our investigation unveils that the key bottleneck is the quality of the self-evaluated feedback. We find LLMs often exhibit overconfidence or high randomness when self-evaluate, offering stubborn or inconsistent feedback, which causes poor reflection. To remedy this, we advocate Self-Contrast: It adaptively explores diverse solving perspectives tailored to the request, contrasts the differences, and summarizes these discrepancies into a checklist which could be used to re-examine and eliminate discrepancies. Our method endows LLM with diverse perspectives to alleviate stubborn biases. Moreover, their discrepancies indicate potential errors or inherent uncertainties that LLM often overlooks. Reflecting upon these can catalyze more accurate and stable reflection. Experiments conducted on a series of reasoning and translation tasks with different LLMs serve to underscore the effectiveness and generality of our strategy.

연구 동기 및 목표

• LLM 자기 반성의 불안정성을 과도한 자신감이나 일관성 없는 자기 평가로 인해 해결하기 위해.
• 외부 피드백에 의존하지 않고도 LLM의 사후 반성의 신뢰성을 향상시키기 위해.
• 내부적 사고의 다양성을 활용하여 간과된 오류를 드러내는 방법을 개발하기 위해.
• 추론의 광범위함과 깊이를 모두 향상시키는 유연하고 적응 가능한 반성 메커니즘을 만들기 위해.
• 이 방법의 일반성과 효과성을 다양한 LLM과 작업 유형에 걸쳐 입증하기 위해.

제안 방법

• 입력 요청에 맞게 자체적으로 셋업된 프롬프트를 통해 다수의 해결 관점을 생성한다.
• 상당한 격차를 보이는 응답 쌍을 선별하여 대비 분석을 수행한다.
• 다양한 관점 간의 격차를 분석하여 잠재적 오류, 간과된 세부 사항 또는 추론 결함을 식별한다.
• 이러한 격차를 바탕으로 구조화된 교정 체크리스트를 통합한다.
• 체크리스트가 핵심 가정과 추론 단계를 재검토하도록 모델을 유도함으로써 수정을 안내한다.
• 전체 과정이 엔드 투 엔드로 LLM 기반으로 운영되며, 사전 정의된 에이전트 역할이나 수동 프롬프트 엔지니어링이 필요하지 않다.

실험 결과

연구 질문

• RQ1 왜 사후 프롬프팅 전략에도 불구하고 LLM의 자기 반성은 종종 실패하는가?
• RQ2 LLM 자기 평가의 불안정성, 특히 과도한 자신감과 일관성 없는 원인은 무엇인가?
• RQ3 여러 해결 관점을 대비함으로써 자기 반성의 품질을 향상시킬 수 있는가?
• RQ4 내부적 사고의 다양성이 더 신뢰할 수 있는 오류 탐지 및 교정으로 이어지는 방식은 무엇인가?
• RQ5 외부 피드백 없이도 자기 주도적이고 대비 기반의 반성 메커니즘이 표준 자기 평가를 능가할 수 있는가?

주요 결과

• Self-Contrast는 다양한 추론 및 번역 작업에서 자기 반성 성능을 뚜렷이 향상시킨다.
• 이 방법은 자기 평가에서의 과도한 자신감과 일관성 문제를 완화함으로써 수정 실패 비율을 낮춘다.
• 시험 기준에서, Self-Contrast는 잘못된 初기 응답의 수정률을 평균적으로 15.1%에서 40% 이상으로 끌어올린다.
• 다양한 LLM에서 일관된 성과 향상을 기록하여 강력한 일반화 능력을 입증한다.
• 다양한 관점 간의 대비 분석은 단일 관점 평가가 놓치는 오류를 드러낸다.
• 생성된 체크리스트는 정확한 수정을 안내하는 데 매우 효과적이며, 표준 자기 반성 기준보다 뛰어난 성능을 보인다.