[論文レビュー] CHATREPORT: Democratizing Sustainability Disclosure Analysis through LLM-based Tools

Jingwei Ni, Julia Bingler+11 more|arXiv (Cornell University)|Jul 28, 2023

Big Data and Business Intelligence被引用数 6

ひとこと要約

本論文では、出典テキストに根拠を置き、追跡可能な、エキスパートが関与したプロンプトを用いるLLMベースのシステム、chatReportを紹介する。抽出型の回答と出典の明示により、幻覚を低減し、ドメインエキスパートがプロンプト開発に積極的に参加することで、公開可能なデータセットとツールを提供し、持続可能性開示分析の民主化を実現する。

ABSTRACT

In the face of climate change, are companies really taking substantial steps toward more sustainable operations? A comprehensive answer lies in the dense, information-rich landscape of corporate sustainability reports. However, the sheer volume and complexity of these reports make human analysis very costly. Therefore, only a few entities worldwide have the resources to analyze these reports at scale, which leads to a lack of transparency in sustainability reporting. Empowering stakeholders with LLM-based automatic analysis tools can be a promising way to democratize sustainability report analysis. However, developing such tools is challenging due to (1) the hallucination of LLMs and (2) the inefficiency of bringing domain experts into the AI development loop. In this paper, we ChatReport, a novel LLM-based system to automate the analysis of corporate sustainability reports, addressing existing challenges by (1) making the answers traceable to reduce the harm of hallucination and (2) actively involving domain experts in the development loop. We make our methodology, annotated datasets, and generated analyses of 1015 reports publicly available.

研究の動機と目的

• 長大な企業持続可能性レポートの手作業分析の高コストとアクセス制限を解消すること。
• 出典の引用を伴う追跡可能な抽出型回答により、LLMが生成する持続可能性開示分析における幻覚を低減すること。
• フィードバックを再利用可能なプロンプトガイドラインに変換する新しいプロンプト工学フレームワークを用いて、ドメインエキスパートをAI開発プロセスに統合すること。
• Task Force on Climate-related Financial Disclosuresフレームワークに基づき、開示品質のベンチマークを確立すること。
• 透明でスケーラブルな持続性レポート分析を可能にする、公開可能なデータセットとツールを提供すること。

提案手法

• システムは、持続可能性レポートからの関連する箇所に根拠を置くために、リtrieval-augmented generation (RAG) を使用する。
• 抽出型の回答生成戦略を採用することで、回答が出典テキスト内の証拠によって直接裏付けられることを保証する。
• エキスパートのLLM出力に対するフィードバックを再利用可能で一般化可能なプロンプトテンプレートに自動変換する、画期的なプロンプト工学フレームワークを採用する。
• Task Force on Climate-related Financial Disclosuresフレームワークに基づき、開示品質を評価するためのTCFD適合スコアを計算する。
• ユーザー主導の質問応答を可能にし、完全な出典の明示により、キーワード検索で主張を確認できるようにする。
• 幻覚と出典の正確性を評価するために、Cohen’s Kappa (0.54) を用いた人間による評価プロトコルを実施した。

Figure 1: chatReport Pipeline

実験結果

リサーチクエスチョン

• RQ1 LLMベースのシステムは、複雑な持続可能性レポートの分析において、どのように幻覚を低減できるか？
• RQ2 ドメインエキスパートは、持続可能性分析におけるLLMのプロンプト開発プロセスに、どの程度体系的に統合できるか？
• RQ3 自動化されたシステムは、スケール上で信頼性があり、追跡可能で解釈可能な持続可能性開示分析を達成できるか？
• RQ4 出典の明示と抽出型生成は、LLM出力における幻覚をどの程度低減するか？
• RQ5 提示されたフレームワークは、TCFD開示適合性の評価を一貫してかつ正確に生成するのにどの程度効果的か？

主な発見

• システムは、出典の引用と抽出型回答形式のおかげで、すべての幻覚事例が容易に特定可能であり、高い幻覚なし率を達成した。
• 人間による評価でCohen’s Kappaが0.54であったことから、幻覚検出に関する中程度の評価者間一致が確認され、回答と参照の不一致が容易に検出可能であることが裏付けられた。
• システムは1,015通の持続可能性レポートについてTCFD適合スコアを正常に計算し、開示品質のベンチマーク化を可能にした。
• 追跡可能で抽出型の回答を用いることで、ユーザーが元のレポートでキーワード検索により主張を確認できるようになり、透明性が向上した。
• エキスパートが関与したプロンプト工学フレームワークにより、フィードバックが再利用可能なプロンプトガイドラインに効果的に変換され、多様なレポートにおいてモデルの信頼性が向上した。
• 出典の明示付きのLLM出力からなるデータセットは公開されており、今後のLLMの出典検証に関する研究に貢献している。

Figure 2: Automatic prompt engineering pipeline.