[논문 리뷰] Aligning LLM Agents by Learning Latent Preference from User Edits

Ge Gao, Alexey Taymanov외 3명|arXiv (Cornell University)|2024. 04. 23.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 프리트레인된 LLM 에이전트를 피니팅 없이 정렬하기 위해 자연스러운 사용자 편집에서 잠재적 사용자 선호도를 학습하는 프레임워크 PRELUDE를 제안한다. CIPHER 알고리즘을 사용하여 LLM을 통해 선호도 기술을 추론하고, 유사한 이전 편집을 검색하며, 이를 종합하여 압축된 프롬프트 정책으로 만든다. 이는 기존 방법들보다 편집 거리와 계산 비용이 낮으면서도 해석 가능성은 향상시킨다.

ABSTRACT

We study interactive learning of LLM-based language agents based on user edits made to the agent's output. In a typical setting such as writing assistants, the user interacts with a language agent to generate a response given a context, and may optionally edit the agent response to personalize it based on their latent preference, in addition to improving the correctness. The edit feedback is naturally generated, making it a suitable candidate for improving the agent's alignment with the user's preference, and for reducing the cost of user edits over time. We propose a learning framework, PRELUDE that infers a description of the user's latent preference based on historic edit data. The inferred user preference descriptions are used to define prompts for generating responses in the future. This avoids fine-tuning the agent, which is costly, challenging to scale with the number of users, and may even degrade its performance on other tasks. Furthermore, learning descriptive preference improves interpretability, allowing the user to view and modify the learned preference. However, user preference can be complex, subtle, and vary based on context, making it challenging to learn. To address this, we propose a simple yet effective algorithm named CIPHER that leverages the LLM to infer the user preference for a given context based on user edits. In the future, CIPHER retrieves inferred preferences from the k-closest contexts in the history, and forms an aggregate preference for response generation. We introduce two interactive environments -- summarization and email writing, and use a GPT-4 simulated user for evaluation. On both tasks, CIPHER outperforms several baselines by achieving the lowest edit distance cost while only having a small overhead in LLM query cost. Our analysis reports that user preferences learned by CIPHER show significant similarity to the ground truth latent preferences.

연구 동기 및 목표

• 자연스럽고 암묵적인 편집에서 학습함으로써 LLM 기반 글쓰기 보조도구에서 사용자 상호작용 비용을 줄이기 위해.
• 이진 비교가 아닌 기술 가능한, 맥락에 민감한 텍스트 기술로 사용자 선호도를 모델링하기 위해.
• 모델 재학습 없이 편집 기록에서 프롬프트 정책을 학습함으로써 비용이 많이 드는 피니팅을 피하기 위해.
• 사용자가 학습된 선호도를 검토하고 수정할 수 있도록 노출시켜 투명성을 향상시키기 위해.
• 개별 사용자 모델 적응 없이도 사용자 간 스케일러블한 개인화를 가능하게 하기 위해.

제안 방법

• 사용자 편집에서 프롬프트 정책 생성을 이끄는 사용자 선호도 기술을 학습하는 프레임워크 PRELUDE를 제안한다.
• 이전 편집에서 선호도 기술을 추론하기 위해 LLM을 사용하는 검색 기반 알고리즘인 CIPHER를 도입한다.
• 현재 맥락과의 임bedding 거리 기반으로 이력에서 k개의 가장 유사한 맥락을 검색한다.
• k개의 가장 가까운 이웃에서 추론된 선호도를 종합하여 응답 생성을 위한 단일이고 압축된 프롬프트로 만든다.
• 집계된 선호도 기술을 동적 프롬프트로 사용하여 고결정된 LLM 에이전트의 응답을 유도한다.
• 요약 및 이메일 작성과 같은 두 가지 상호작용 환경에서 GPT-4 시뮬레이티드 사용자를 활용해 평가한다.

Figure 1: Illustration of interactive learning from user edits. Color coding in edits is for visualization only – our agent takes the plain revised text as feedback.

실험 결과

연구 질문

• RQ1 사용자 편집은 맥락 간 일반화 가능한 잠재적이고 기술 가능한 선호도로 효과적으로 모델링될 수 있는가?
• RQ2 추론된 선호도 기술을 사용하는 검색 기반 방법은 직접적인 편집 검색 또는 맥락 무관 선호도 학습보다 우수한가?
• RQ3 추론된 선호도 기술을 사용할 경우 기존 방법 대비 사용자 편집 비용(예: 편집 거리)이 감소하는가?
• RQ4 학습된 선호도는 사용자가 이해하고 수정할 수 있는가? 이는 투명성을 향상시키는가?
• RQ5 학습된 선호도를 사용할 경우 원시 편집 시퀀스를 프롬프트에 사용하는 것보다 계산 비용이 낮은가?

주요 결과

• CIPHER는 요약 및 이메일 작성 작업 모두에서 기존 방법들보다 가장 낮은 편집 거리 비용을 기록했으며, 직접 편집을 검색하거나 맥락에 무관한 선호도를 학습하는 방법들을 능가했다.
• 학습된 선호도 기술을 사용함으로써 원시 편집 시퀀스 대비 프롬프트 길이가 단축되어 계산 비용이 낮아졌다.
• 추론된 선호도는 지표로 사용된 잠재 선호도와 유사성이 높아, 정확한 선호도 모델링을 나타냈다.
• 이 프레임워크는 사용자가 학습된 선호도 기술을 시각화하고 수정할 수 있어 해석 가능한 정렬을 가능하게 했다.
• 이 방법은 사용자 간에 효율적으로 확장 가능했으며, 개별 사용자에 대한 피니팅이 필요 없었다.
• GPT-4 시뮬레이티드 사용자 평가를 통해 다양한 상호작용 시나리오에서 일관된 성능 향상이 확인되었다.