[논문 리뷰] Extracting Self-Consistent Causal Insights from Users Feedback with LLMs and In-context Learning

Sara Abdali, Anjali Parikh외 2명|arXiv (Cornell University)|2023. 12. 11.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 Windows Feedback Hub의 사용자 피드백에서 원인 변수와 사건 순서를 추출하기 위한 자기 일관성 있는 인-컨텍스트 학습 프레임워크를 제안한다. LLM의 추론 능력과 수정된 자기 일관성 접근법을 활용함으로써, 이 방법은 유사성 없는 현상 없이 치료 요인, 결과, 혼란 변수, 원인 체인을 식별하며, 0%의 환각 현상으로 인해 알려진 문제의 81%와 새로운 버그 발견의 19%를 달성하면서도 피드백의 실행 가능성에 대한 점수를 매긴다.

ABSTRACT

Microsoft Windows Feedback Hub is designed to receive customer feedback on a wide variety of subjects including critical topics such as power and battery. Feedback is one of the most effective ways to have a grasp of users' experience with Windows and its ecosystem. However, the sheer volume of feedback received by Feedback Hub makes it immensely challenging to diagnose the actual cause of reported issues. To better understand and triage issues, we leverage Double Machine Learning (DML) to associate users' feedback with telemetry signals. One of the main challenges we face in the DML pipeline is the necessity of domain knowledge for model design (e.g., causal graph), which sometimes is either not available or hard to obtain. In this work, we take advantage of reasoning capabilities in Large Language Models (LLMs) to generate a prior model that which to some extent compensates for the lack of domain knowledge and could be used as a heuristic for measuring feedback informativeness. Our LLM-based approach is able to extract previously known issues, uncover new bugs, and identify sequences of events that lead to a bug, while minimizing out-of-domain outputs.

연구 동기 및 목표

• Windows OS 문제에 대한 고속도 사용자 피드백에서 루트 케이스를 진단하는 데 도전하는 데 초점 맞추기, 특히 전력 및 배터리 고갈과 같은 복잡한 다중 요인 문제에 대해.
• 더블 머신러닝(DML) 파이프라인에서 전문가가 제공한 원인 그래프와 도메인 지식에 의존하는 문제를 해결하기 위해, LLM을 사용해 히우리스틱 사전 지식을 생성함으로써 대체하기.
• 앙상블 프롬프팅을 사용한 수정된 자기 일관성 프레임워크를 통해 LLM의 환각 현상을 최소화하여 원인 변수 추출 과정에서의 일관성 향상.
• 치료-결과 관계와 시퀀스 복잡성에 기반해 피드백의 정보성에 대한 점수를 매기기 위한 원인 히우리스틱 개발.
• 행동 가능한 원인 요약을 추출하고 이전에 알려지지 않은 원인 체인을 식별함으로써 엔지니어가 피드백을 더 효율적으로 트리지할 수 있도록 지원하기.

제안 방법

• 소수 샘플 및 제로샷 체인 오브 톰 프롬프팅을 사용한 인-컨텍스트 학습(ICL)을 적용하여 LLM이 치료 요인, 결과, 혼란 변수, 그리고 도구 변수를 식별하도록 이끌기.
• 여러 프롬프트 변형을 앙상블하고 탐욕적 선택 전략을 사용하는 수정된 자기 일관성 프레임워크를 구현하여 일관성 향상과 환각 현상 감소.
• LLM을 사용하여 피드백에서 사건 순서를 추출하여 보고된 버그로 이르는 원인 서사를 재구성하기.
• 피드백의 실행 가능성에 점수를 매기기 위해 두 가지 원인 히우리스틱 설계: (1) 고유한 원인 변수 수(치료 요인, 결과, 혼란 변수), (2) 추출된 사건 체인의 누적 길이.
• 기존 엔지니어링 트리지 데이터와 대조하여 추출된 원인 변수와 체인을 검증하여 도메인 내 정확도 확보 및 도메인 외 출력 최소화.
• 더블 머신러닝(DML)을 후속 원인 추론 파이프라인으로 사용하며, LLM이 생성한 사전 지식이 모델 구조 및 혼란 변수 선택에 영향을 주도록 설계.

실험 결과

연구 질문

• RQ1 전문가가 제공한 원인 그래프 없이도, LLM이 인-컨텍스트 학습을 통해 구조화되지 않은 사용자 피드백에서 치료 요인, 결과, 혼란 변수와 같은 자기 일관성 있는 원인 변수를 신뢰성 있게 추출할 수 있는가?
• RQ2 표준 프롬프팅 대비 수정된 자기 일관성 프롬프팅 전략이 LLM 기반 원인 추론에서 환각 현상을 얼마나 줄이는가?
• RQ3 LLM은 사용자 피드백에서 기존에 알려지지 않은 원인 체인을 발견할 수 있는가? 특히 배터리 고갈 또는 슬립 실패와 같은 OS 수준의 버그 진단에 관련된 체인을 말한다.
• RQ4 제안된 원인 히우리스틱은 인간의 트리지 기준과 비교해 피드백의 실행 가능성 예측에 얼마나 효과적인가?
• RQ5 추출된 통찰 중에서 사전 분류된 알려진 문제 또는 엔지니어가 검증한 새로운 버그의 비율은 얼마인가?

주요 결과

• 수정된 자기 일관성 프레임워크는 원인 변수 추출 과정에서 환각 현상을 0%로 줄여 모든 출력이 도메인 내에 있도록 보장하였다.
• 추출된 원인 변수의 81%는 이전에 알려진 문제와 일치하였고, 19%는 이전에 문서화되지 않은 새로운 버그를 드러내었다.
• 추출된 원인 사건 체인의 44%는 엔지니어에게 이전에 알려지지 않은 것으로 나타나, 이 방법이 새로운 진단 경로를 발견하는 데의 능력을 보여주었다.
• 히우리스틱 2(누적 시퀀스 길이)를 사용해 점수를 매긴 피드백은 특히 한 개의 피드백에서 여러 개의 체인을 추출했을 경우에 더 높은 실행 가능성과 관련이 있었다.
• 이 방법은 명시적인 도메인 지식이 없더라도 원인 추론을 위한 사전 모델을 성공적으로 생성하여 후속 DML 파이프라인을 지원하였다.
• 모든 추출된 원인 통찰은 목표 주제(예: '현대 스탠바이')와 관련이 있었으며, 도메인 외 응답은 관찰되지 않았다.