[論文レビュー] LaMDA: Language Models for Dialog Applications

Romal Thoppilan, Daniel De Freitas+58 more|arXiv (Cornell University)|Jan 20, 2022

Topic Modeling被引用数 705

ひとこと要約

LaMDA は、大規模な Transformer ベースの対話モデルのファミリー（最大 137B パラメータ）で、公開対話およびウェブデータで事前学習され、ファインチューニングと外部ツールで対話の質、安全性、 grounding を改善するよう洗練されています。

ABSTRACT

We present LaMDA: Language Models for Dialog Applications. LaMDA is a family of Transformer-based neural language models specialized for dialog, which have up to 137B parameters and are pre-trained on 1.56T words of public dialog data and web text. While model scaling alone can improve quality, it shows less improvements on safety and factual grounding. We demonstrate that fine-tuning with annotated data and enabling the model to consult external knowledge sources can lead to significant improvements towards the two key challenges of safety and factual grounding. The first challenge, safety, involves ensuring that the model's responses are consistent with a set of human values, such as preventing harmful suggestions and unfair bias. We quantify safety using a metric based on an illustrative set of human values, and we find that filtering candidate responses using a LaMDA classifier fine-tuned with a small amount of crowdworker-annotated data offers a promising approach to improving model safety. The second challenge, factual grounding, involves enabling the model to consult external knowledge sources, such as an information retrieval system, a language translator, and a calculator. We quantify factuality using a groundedness metric, and we find that our approach enables the model to generate responses grounded in known sources, rather than responses that merely sound plausible. Finally, we explore the use of LaMDA in the domains of education and content recommendations, and analyze their helpfulness and role consistency.

研究の動機と目的

• モデルのスケーリングが対話の質、安全性、 grounding に与える影響を調査する。
• annotated dialog data を用いたファインチューニング戦略を開発して、安全性と応答品質を向上させる。
• ツールを介した外部知識アクセスを可能にして grounding と事実性を高める。
• 教育およびコンテンツ推奨シナリオにおける LaMDA を評価し、有用性と役割の一貫性を検証する。

提案手法

• 1. 公開対話およびウェブデータを用いて、最大 137B パラメータのデコーダーだけの Transformer モデルを訓練する（1.56T words）。
• 2. ログ確率と長さに基づいて候補応答を生成・選択するサンプル＆ランク戦略を用いる。
• 3. 品質（SSI）と安全性を最適化する判別的・生成的目的でファインチューニングを行う。
• 4. 外部ツールセット（情報検索、計算機、翻訳機）を用いて出力を補強し、ツール使用クエリを発行し retrieved snippets を組み込むようモデルを訓練する。
• 5. 大規模な注釈データセット（対話ターン、安全性注釈、grounding注釈）を評価とファインチューニングに活用する。
• 6. アプリケーション特化の対話を前提として LaMDA を前提条件付けして、役割別の有用性と一貫性を評価する。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズのスケーリングは、人間のパフォーマンスと比較して対話の質、安全性、grounding にどのような影響を与えるか？
• RQ2 スケーリングだけではなくファインチューニングを組み合わせると、質・安全性・grounding は向上するか？
• RQ3 外部知識源とツールの参照を可能にすることで grounding は向上するか？
• RQ4 教育およびコンテンツ推奨領域における LaMDA の有用性と役割の一貫性はどの程度か？

主な発見

• モデルのスケーリングは対話の質（納得性・具体性・興味深さ）を向上させる。
• スケーリングのみでは、人間のパフォーマンスと比較して安全性と grounding の改善は限定的。
• ファインチューニングとスケーリングを併用すると、質、安全性、grounding の総合的な向上が得られる。
• 外部知識ツールセットを出力に組み込むことで grounding が向上し、根拠のない主張を減らせる。
• 判別的ファインチューニングと別個の安全性予測器は、候補をランク付けする前に unsafe な応答をフィルタリングするのに役立つ。
• 教育およびコンテンツ推奨のシナリオでは、アプリケーション特化のファインチューニング版がより有用で、役割の一貫性を維持する。