[論文レビュー] Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment

Alexander Goldberg, Ihsan Ullah+5 more|arXiv (Cornell University)|Nov 5, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本研究では、NeurIPS 2024 で導入された大規模言語モデル（LLM）駆動のチェックリストアシスタントの有効性を評価した。このアシスタントは、234件の論文に対して具体的かつ実行可能なフィードバックを提供し、70％を超えるユーザーがその有用性を認識し、フィードバックに基づいて論文を修正したが、誤りや過剰な厳密さといった問題も報告された。このツールは、改訂の可能性を秘めているものの、操作への脆弱性も示している。

ABSTRACT

Large language models (LLMs) represent a promising, but controversial, tool in aiding scientific peer review. This study evaluates the usefulness of LLMs in a conference setting as a tool for vetting paper submissions against submission standards. We conduct an experiment at the 2024 Neural Information Processing Systems (NeurIPS) conference, where 234 papers were voluntarily submitted to an "LLM-based Checklist Assistant." This assistant validates whether papers adhere to the author checklist used by NeurIPS, which includes questions to ensure compliance with research and manuscript preparation standards. Evaluation of the assistant by NeurIPS paper authors suggests that the LLM-based assistant was generally helpful in verifying checklist completion. In post-usage surveys, over 70% of authors found the assistant useful, and 70% indicate that they would revise their papers or checklist responses based on its feedback. While causal attribution to the assistant is not definitive, qualitative evidence suggests that the LLM contributed to improving some submissions. Survey responses and analysis of re-submissions indicate that authors made substantive revisions to their submissions in response to specific feedback from the LLM. The experiment also highlights common issues with LLMs: inaccuracy (20/52) and excessive strictness (14/52) were the most frequent issues flagged by authors. We also conduct experiments to understand potential gaming of the system, which reveal that the assistant could be manipulated to enhance scores through fabricated justifications, highlighting potential vulnerabilities of automated review tools.

研究の動機と目的

• LLMベースのチェックリストアシスタントが、著者がNeurIPSの提出基準を満たすのを支援する有用性を評価すること。
• LLMアシスタントとの対話後に著者の認識や行動にどのような変化が生じたかを評価すること。
• 現実世界の学術的チェックリスト検証の文脈において、LLMの一般的な失敗モードや脆弱性を同定すること。
• LLMのフィードバックが論文の質やチェックリストの完成度に実際に測定可能な改善をもたらすかどうかを検討すること。

提案手法

• NeurIPS 2024 ペーパーチェックリスト（再現性、倫理、透明性に関する15のYes/No質問）に著者が回答した内容を評価するLLM駆動のチェックリストアシスタントを導入した。
• アシスタントは各チェックリストの回答を分析し、具体的なフィードバック（たとえば、特定のセクションへの言及や倫理的影響の議論の拡充など）を生成した。
• 539名と78名の被験者を対象に、使用前および使用後のアンケート調査を実施し、ユーザーの期待と体験を評価した。
• 234件の提出（うち40件は再提出）を収集・分析し、チェックリストの根拠の長さと内容の変化を追跡した。
• 偽装された根拠を用いてスコアを向上させる試みを含む、敵対的実験を実施し、システムの操作可能性をテストした。

実験結果

リサーチクエスチョン

• RQ1 著者は、LLMベースのチェックリストアシスタントを用いてNeurIPSの提出準備を行う際に、どの程度有用だと感じているか？
• RQ2 LLMアシスタントからのフィードバックは、チェックリストの完成度や論文の質に測定可能な改善をもたらしているか？
• RQ3 LLMがチェックリスト検証に使用された際の一般的な失敗モード（誤りや過剰な厳密さなど）は何か？
• RQ4 偽装された根拠を用いることで、LLMベースのチェックリストシステムは簡単に操作可能か？

主な発見

• 70％を超える著者が、LLMベースのチェックリストアシスタントの有用性を認識し、フィードバックに基づいて論文やチェックリストの回答を修正すると報告した。
• 著者たちはアシスタントのフィードバックに応じて実質的な修正を加え、再提出においてチェックリストの根拠の長さと具体的さが顕著に向上した。
• LLMは1件のチェックリスト質問あたり平均4〜6件の明確で具体的なフィードバックポイントを提供しており、提出内容の詳細な分析を示している。
• 最も頻出していた問題は誤り（52名中20名）と過剰な厳密さ（52名中14名）であった。
• システムは操作に脆弱であり、敵対的テストで偽装された根拠がスコアの向上に成功した。これは、自動レビューツールにおけるリスクを浮き彫りにしている。