[논문 리뷰] The Knowledge Alignment Problem: Bridging Human and External Knowledge for Large Language Models

Shuo Zhang, Liangming Pan외 2명|arXiv (Cornell University)|2023. 05. 23.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 제약 조건과 조건의 부정확한 일치로 인해 외부 지식과 사용자 질문을 정확히 연결하지 못하는 지식 정렬 문제를 제시한다. MixAlign는 LLM 기반의 제약 조건 매칭과 표적화된 인간의 명확화를 결합하여 환각 현상을 최대 27.1% 감소시키고, 고품질의 사용자 중심 명확화를 통해 성능을 22.2% 향상시킨다.

ABSTRACT

Large language models often necessitate grounding on external knowledge to generate faithful and reliable answers. Yet even with the correct groundings in the reference, they can ignore them and rely on wrong groundings or their inherent biases to hallucinate when users, being largely unaware of the specifics of the stored information, pose questions that might not directly correlate with the retrieved groundings. In this work, we formulate this knowledge alignment problem and introduce MixAlign, a framework that interacts with both the human user and the knowledge base to obtain and integrate clarifications on how the user question relates to the stored information. MixAlign employs a language model to achieve automatic knowledge alignment and, if necessary, further enhances this alignment through human user clarifications. Experimental results highlight the crucial role of knowledge alignment in boosting model performance and mitigating hallucination, with improvements noted up to 22.2% and 27.1% respectively. We also demonstrate the effectiveness of MixAlign in improving knowledge alignment by producing high-quality, user-centered clarifications.

연구 동기 및 목표

• 사용자 질문과 외부 지식 간의 암묵적 또는 누락된 제약 조건으로 인해 LLM이 잘못 일치하는 지식 정렬 문제를 식별하고 형식화하는 것.
• 내부 지식에 편향을 두고 외부 지식에 충실하게 기반을 두지 않는 기존 LLM 시스템의 격차를 메우는 것.
• 자동화된 LLM 추론과 표적화된 인간의 명확화를 통해 정렬을 향상시키는 혼합 주도 프레임워크를 설계하는 것.
• 지식 정렬이 환각 현상을 줄이고 질문-답변 작업에서 사실 일관성을 향상시키는 데 효과적인지 평가하는 것.

제안 방법

• MixAlign는 LLM 기반의 지식 정렬을 시작으로, 사용자 질문의 제약 조건을 외부 지식 기반의 해당 필드에 매핑한다.
• 제약 조건 매칭에서 불확실성이 발생할 경우, MixAlign은 사용자에게 표적화된 명확화 질문을 생성한다.
• 이 프레임워크는 모델이 생성한 명확화와 인간이 제공한 명확화를 통합하여 답변 생성 이전에 기반을 정밀하게 다듬는다.
• 두 단계 과정을 사용한다: 명시적 제약 조건 매칭 이후 남은 모호한 케이스에 대한 암묵적 정렬.
• 제약 조건 매칭의 신뢰도 임계값을 기반으로 사용자 참여 시점을 동적으로 결정한다.
• 사용자 노력 최소화를 위해 평균적으로 각 인스턴스당 오직 1.08~1.19개의 명확화 질문만을 요구하도록 설계되어 있다.

Figure 1: Knowledge Misalignment. Even if the user knows about the city constraint, he/she may not put it in the question being unaware that “city” is needed to filter noisy candidates. For the same reason, the user may not give a precise event name. Due to the misalignment between the user question

실험 결과

연구 질문

• RQ1 사용자 질문과 외부 지식 간의 일치하지 않는 상태가 LLM의 환각 현상에 어떻게 기여하는가?
• RQ2 LLM 기반의 제약 조건 매칭만으로 지식 정렬 문제를 어느 정도 해결할 수 있는가?
• RQ3 인간의 보조적 명확화가 환각 현상을 줄이고 사실 정확도를 향상시키는 데 어떤 영향을 미치는가?
• RQ4 MixAlign 프레임워크는 높은 정렬 품질을 유지하면서 사용자 노력 최소화에 얼마나 효율적인가?
• RQ5 노이즈가 많거나 관련성이 없는 기반 지식이 다양한 수준에서 존재할 경우, MixAlign의 성능은 오라클 수준의 명확화와 기준 모델에 비해 어떻게 비교되는가?

주요 결과

• MixAlign는 기준 모델 대비 환각 현상을 최대 27.1% 감소시켜 지식 정렬이 사실 일관성 향상에 핵심적인 역할을 한다는 것을 입증한다.
• MixAlign를 사용할 경우 성능이 최대 22.2% 향상되며, 사용자 의도를 외부 지식과 정렬하는 데서 유의미한 이점이 있음을 보여준다.
• 더 많은 관련 없는 지식 기반 자료가 존재할수록 MixAlign과 LLM 전용 기준 모델 간의 성능 격차가 커지며, 커버리지 분야에선 7.7%, 환각 분야에선 9.8%의 격차를 보이며 명확화의 필요성을 강조한다.
• 인간의 보조는 필수적이다: 인간 없이 작동하는 버전(w/o Human)은 노이즈가 증가함에 따라 성능 저하가 심각하게 나타나, LLM이 제약 조건 매칭을 확신 있게 수행하는 데 어려움을 겪는다는 것을 시사한다.
• 단순한 접근 방식 대비 MixAlign는 사용자 명확화의 필요성을 14.2%에서 22.5%까지 줄이며, 일반적으로 각 인스턴스당 평균 1.08~1.19개의 명확화 질문만을 요구한다.
• 암묵적 지식 정렬은 반드시 필요하다: 이를 제거할 경우 성능 저하가 일관되게 발생하며, 노이즈가 증가함에 따라 격차가 안정적으로 유지되며 명시적 정렬의 오류가 누적됨을 보여준다.

Figure 2: Oracle clarification results regarding different knowledge alignment types.