[論文レビュー] Citation: A Key to Building Responsible and Accountable Large Language Models

Jie Huang, Kevin Chen–Chuan Chang|arXiv (Cornell University)|Jul 5, 2023

FinTech, Crowdfunding, Digital Finance被引用数 11

ひとこと要約

本論文は、透明性・説明責任・IP/倫理ガバナンスを向上させるために、LLM に引用機構を組み込むことを提案し、非パラメトリックとパラメトリックのコンテンツの両方に対処する方法を検討します。実装戦略、落とし穴、研究アジェンダについて論じます。

ABSTRACT

Large Language Models (LLMs) bring transformative benefits alongside unique challenges, including intellectual property (IP) and ethical concerns. This position paper explores a novel angle to mitigate these risks, drawing parallels between LLMs and established web systems. We identify "citation" - the acknowledgement or reference to a source or evidence - as a crucial yet missing component in LLMs. Incorporating citation could enhance content transparency and verifiability, thereby confronting the IP and ethical issues in the deployment of LLMs. We further propose that a comprehensive citation mechanism for LLMs should account for both non-parametric and parametric content. Despite the complexity of implementing such a citation mechanism, along with the potential pitfalls, we advocate for its development. Building on this foundation, we outline several research problems in this area, aiming to guide future explorations towards building more responsible and accountable LLMs.

研究の動機と目的

• Web と検索エンジンへの類推を通じて、LLM における知的財産と倫理的問題を管理する必要性を、喚起する。
• 透明性と説明責任を高めるために、引用を欠かせない重要な要素としてLLMに導入する概念を紹介する。
• 非パラメトリックコンテンツの引用とパラメトリックコンテンツの帰属付けのための潜在的戦略を概説する。
• 責任あるLLMの今後の開発を導く主要な課題と研究課題を特定する。

提案手法

• 非パラメトリックコンテンツについては、LLM出力において引用をいつ、どのように用いるべきかを定義する（事前適用と事後挿入）。
• 非パラメトリック引用を提供するために、情報検索と組み合わせたハイブリッドシステムを提案する。
• パラメトリックコンテンツをソースに遡らせるためのソース識別子またはトークンのアイデアを検討する。
• 幻覚、引用バイアス、法的影響など、潜在的な落とし穴と障壁を調査する。

実験結果

リサーチクエスチョン

• RQ1 生成情報に対してLLMが引用を提供すべき時はいつですか？
• RQ2 取得拡張手法を用いてLLMは非パラメトリックコンテンツをどう引用できるか？
• RQ3 LLMはパラメトリックコンテンツを学習データソースに属性付けできるか？
• RQ4 LLMの引用機構における主な落とし穴は何か、それをどう緩和できるか？
• RQ5 信頼性が高く最新で偏りのない引用をLLMで実現するために解決すべき研究課題は何か？

主な発見

• 引用は出典を示し検証を可能にすることで、IPと倫理的懸念に対処できる。
• 非パラメトリックコンテンツは事前取得（pre-hoc retrieval）または事後挿入で引用可能であり、堅牢性のために組み合わせが可能である。
• パラメトリックコンテンツは高次元の学習表現のため帰属付けの課題がある。ソース識別子が潜在的な解決策である。
• 引用は過剰引用、正確でないまたは時代遅れの出典、誤情報の拡散、偏り、創造性の低下などのリスクをもたらす。
• 引用機能を備えたLLMにおけるタイミング、正確性、信頼性、偏見、法的問題に対処するための広範な研究課題が概説されている。