[논문 리뷰] LaMDA: Language Models for Dialog Applications

Romal Thoppilan, Daniel De Freitas외 58명|arXiv (Cornell University)|2022. 01. 20.

Topic Modeling인용 수 705

한 줄 요약

LaMDA는 공용 대화 데이터와 웹 데이터를 사전 학습한 대형 Transformer 기반 대화 모델 패밀리로, 대화 품질, 안전성, 근거 제고를 개선하기 위해 미세 조정 및 외부 도구로 다듬어졌다.

ABSTRACT

We present LaMDA: Language Models for Dialog Applications. LaMDA is a family of Transformer-based neural language models specialized for dialog, which have up to 137B parameters and are pre-trained on 1.56T words of public dialog data and web text. While model scaling alone can improve quality, it shows less improvements on safety and factual grounding. We demonstrate that fine-tuning with annotated data and enabling the model to consult external knowledge sources can lead to significant improvements towards the two key challenges of safety and factual grounding. The first challenge, safety, involves ensuring that the model's responses are consistent with a set of human values, such as preventing harmful suggestions and unfair bias. We quantify safety using a metric based on an illustrative set of human values, and we find that filtering candidate responses using a LaMDA classifier fine-tuned with a small amount of crowdworker-annotated data offers a promising approach to improving model safety. The second challenge, factual grounding, involves enabling the model to consult external knowledge sources, such as an information retrieval system, a language translator, and a calculator. We quantify factuality using a groundedness metric, and we find that our approach enables the model to generate responses grounded in known sources, rather than responses that merely sound plausible. Finally, we explore the use of LaMDA in the domains of education and content recommendations, and analyze their helpfulness and role consistency.

연구 동기 및 목표

• 모델 규모 확장이 대화 품질, 안전성 및 근거성에 어떤 영향을 미치는지 조사한다.
• 주석이 달린 대화 데이터를 사용한 미세 조정 전략을 개발하여 안전성 및 응답 품질을 향상시킨다.
• 도구를 통한 외부 지식 접근을 가능하게 하여 근거 제고 및 사실 정확성을 강화한다.
• 교육 및 콘텐츠 추천 시나리오에서 LaMDA를 평가하여 도움성 및 역할 일관성을 평가한다.

제안 방법

• Decoder-only Transformer 모델을 최대 137B 매개변수로, 공용 대화 및 웹 데이터 1.56T 단어를 대상으로 학습한다.
• 로그 가능도(log-likelihood)와 길이를 기반으로 후보 응답을 생성하고 선택하기 위해 샘플링-랭크 전략을 사용한다.
• 품질(SSI)을 최적화하고 안전성을 개선하기 위해 판별적(discriminative) 및 생성적(generative) 목표를 사용하여 미세 조정한다.
• 정보 검색, 계산기, 번역기 등 외부 도구 모음을 활용해 출력을 보강하고 도구 사용 쿼리를 발행하며 검색된 발췌를 반영하도록 모델을 학습한다.
• 평가 및 미세 조정을 위해 대규모 주석 데이터 셋(대화 턴, 안전 주석, 근거 주석)을 수집하고 활용한다.
• LaMDA를 애플리케이션 특화 대화에 대해 사전 조건화하여 역할별 도움성과 일관성을 평가한다.

실험 결과

연구 질문

• RQ1 모델 규모(모델 크기)가 대화 품질, 안전성 및 근거성에 인간 성능과 비교하여 어떤 영향을 미치는가?
• RQ2 규모 확장만으로보다 미세 조정이 결합되면 품질, 안전성 및 근거성이 향상되는가?
• RQ3 외부 지식 원천과 도구를 조회하도록 허용하면 근거성을 개선할 수 있는가?
• RQ4 교육 및 콘텐츠 추천 도메인에서 LaMDA의 도움성과 역할 일관성은 어떠한가?

주요 결과

• 모델 규모 확장은 대화 품질(합리성, 구체성, 흥미로움)을 향상시킨다.
• 규모 확장만으로는 인간 성능에 비해 안전성과 근거성의 개선이 제한적이다.
• 미세 조정과 규모 확장은 품질, 안전성 및 근거성 전반에 걸쳐 상당한 이득을 가져온다.
• 외부 지식 도구 모음을 활용한 출력 보강은 근거성을 높이고 근거가 불명확한 주장들을 줄인다.
• 판별적 미세 조정과 별도의 안전 예측기가 후보를 랭킹하기 전에 안전하지 않은 응답을 필터링하는 데 도움을 준다.
• 교육 및 콘텐츠 추천 시나리오에서 애플리케이션 특화 미세 조정 변형들이 더 도움이 되며 역할 일관성을 유지한다.