[논문 리뷰] ALLURE: Auditing and Improving LLM-based Evaluation of Text using Iterative In-Context-Learning

Hosein Hasanbeig, Hiteshi Sharma외 3명|arXiv (Cornell University)|2023. 09. 24.

Topic ModelingComputer Science인용 수 3

한 줄 요약

ALLURE는 반복적 인라인 학습(ICS)을 통해 LLM 기반 텍스트 평가를 감사하고 향상시키는 클로즈드 루프 프레임워크이다. 실패 모드에 특화된 예시를 사용하여 GPT-4의 평가 정확도를 개선한다. 실패 유형에 맞춘 ICL 예시가 성능을 크게 향상시키며, 인간 애너테이터에 대한 의존도를 줄이고 요약 및 강화 학습 계획 작업에서의 견고성을 높인다.

ABSTRACT

From grading papers to summarizing medical documents, large language models (LLMs) are evermore used for evaluation of text generated by humans and AI alike. However, despite their extensive utility, LLMs exhibit distinct failure modes, necessitating a thorough audit and improvement of their text evaluation capabilities. Here we introduce ALLURE, a systematic approach to Auditing Large Language Models Understanding and Reasoning Errors. ALLURE involves comparing LLM-generated evaluations with annotated data, and iteratively incorporating instances of significant deviation into the evaluator, which leverages in-context learning (ICL) to enhance and improve robust evaluation of text by LLMs. Through this iterative process, we refine the performance of the evaluator LLM, ultimately reducing reliance on human annotators in the evaluation process. We anticipate ALLURE to serve diverse applications of LLMs in various domains related to evaluation of textual data, such as medical summarization, education, and and productivity.

연구 동기 및 목표

• 실세계 응용에서 식별 가능한 실패 모드로 인해 LLM 기반 텍스트 평가의 감사 및 향상이 필수적이라는 문제를 해결한다.
• 자신이 생성한 실패 모드에 특화된 예시를 체계적으로 활용하여 LLM 평가자들을 개선함으로써 인간 애너테이터에 대한 의존도를 줄인다.
• GPT-4가 다양한 도메인, 특히 RL 계획 및 뉴스 요약에서 평가자로서의 견고성과 정확도를 향상시킨다.
• ICL 프롬프트 설계, 특히 예시 유형, 수량 및 클러스터링이 평가자 성능에 미치는 영향을 조사한다.
• 지속적인 감사와 향상을 위한 확장 가능한 클로즈드 루프 프rotocol을 개발한다.

제안 방법

• GPT-4의 텍스트 평가 결과를 인간 애너테이션 기반 참값과 비교하여 감사함으로써, RL 계획 및 뉴스 요약 두 도메인에서 실패 모드를 식별한다.
• 중요한 평가 이질성 사례를 메모리에 저장하여 실패 모드 클러스터로 구성하며, 오류 유형(예: 사실 불일치, 중복, 무관성 등)으로 분류한다.
• GPT-4의 평가 행동을 이끌기 위해 특정 실패 모드 클러스터에서 예시를 선택하여 인라인 학습(ICL) 프롬프트를 구성한다.
• 성능 피드백과 신호 탐지 이론 분석을 기반으로 예시를 업데이트함으로써, 다중 라운드에 걸쳐 ICL 프롬프트 세트를 반복적으로 개선한다.
• 제거 분석을 수행하여 프롬프트 설계, 예시 수량, 예시 유형, 지침 구조의 영향을 평가한다.
• 신호 탐지 이론적 접근을 사용하여 반복 과정 동안 평가 정확도 향상 정도를 정량화하고 분석한다.

실험 결과

연구 질문

• RQ1 LLM 기반 텍스트 평가에서 발생하는 다양한 실패 모드가 GPT-4의 성능에 미치는 영향은 무엇이며, 이를 체계적으로 분류할 수 있는가?
• RQ2 실패 모드에 특화된 예시로 미세조정된 반복적 인라인 학습(ICL)이 GPT-4의 평가 정확도에 얼마나 기여하는가?
• RQ3 ICL 예시의 수는 평가 성능에 선형적일까 비선형적일까? 성능 향상을 위한 최적의 임계값은 무엇인가?
• RQ4 다양한 실패 모드 예시 클러스터는 GPT-4의 평가 견고성과 일반화 능력에 어떻게 영향을 미치는가?
• RQ5 예시 선택에 기반해 성능을 비대칭적으로 향상시킬 수 있는 ICL 프롬프트를 설계할 수 있으며, 예시의 오류 유형과의 관련성은 어떤 역할을 하는가?

주요 결과

• 실패 모드에 특화된 예시를 사용해 ICL 프롬프트를 구성할 경우 GPT-4의 평가 성능이 크게 향상되었으며, 무작위 또는 비대상 예시 선택보다 성능 향상이 뚜렷했다.
• ICL 예시의 수를 늘릴수록 성능 향상이 누적되지 않았으며, 특정 수의 예시를 넘어서야 성능이 향상되기 시작했다.
• 예시의 유형, 특히 특정 실패 모드와의 일치성이 예시 수량보다 성능에 더 큰 영향을 미쳤다.
• 서로 유사한 예시 세트가 비대칭적인 성능 향상을 가져왔으며, 이는 실패 모드 클러스터링을 기반으로 한 통합적 예시 선택이 필수적임을 시사한다.
• 제거 분석을 통해 지시 품질과 프롬프트 지침이 평가 정확도에 크게 영향을 미치며, 더 잘 구성된 프롬프트가 일관된 성능 향상을 이끌어냈다.
• 반복적 ICL 프rotocol는 실패 모드 피드백 루프를 통해 평가자 자체의 자가 개선을 가능하게 하여 인간 애너테이터 의존도를 줄였으며, 평가 워크플로우의 확장성도 입증했다.