[論文レビュー] Frontiers of Information Access Experimentation for Research and Education (Dagstuhl Seminar 23031)

Christine Bauer, Ben Carterette+2 more|arXiv (Cornell University)|Jan 1, 2023

Semantic Web and Ontologies被引用数 24

ひとこと要約

本論文は、情報検索（IR）、レコメンデーションシステム（RS）、自然言語処理（NLP）分野におけるメソドロジカルな欠陥に取り組むことで、情報アクセス研究における実験的厳密性と教育の向上を図る包括的なフレームワークを提案する。5つの主要な取り組み—実世界評価、人間・機械の関連性判断、メソドロジカル教育、結果を隠したレビュー、著者向けガイドライン—を、コミュニティ主導の「生き永く更新可能な指針」で支援することで、研究の妥当性、公平性、再現可能性を高めることを目的としている。

ABSTRACT

This report documents the program and the outcomes of Dagstuhl Seminar 23031 ``Frontiers of Information Access Experimentation for Research and Education'', which brought together 37 participants from 12 countries. The seminar addressed technology-enhanced information access (information retrieval, recommender systems, natural language processing) and specifically focused on developing more responsible experimental practices leading to more valid results, both for research as well as for scientific education. The seminar brought together experts from various sub-fields of information access, namely IR, RS, NLP, information science, and human-computer interaction to create a joint understanding of the problems and challenges presented by next generation information access systems, from both the research and the experimentation point of views, to discuss existing solutions and impediments, and to propose next steps to be pursued in the area in order to improve not also our research methods and findings but also the education of the new generation of researchers and developers. The seminar featured a series of long and short talks delivered by participants, who helped in setting a common ground and in letting emerge topics of interest to be explored as the main output of the seminar. This led to the definition of five groups which investigated challenges, opportunities, and next steps in the following areas: reality check, i.e. conducting real-world studies, human-machine-collaborative relevance judgment frameworks, overcoming methodological challenges in information retrieval and recommender systems through awareness and education, results-blind reviewing, and guidance for authors.

研究の動機と目的

• 本研究は、情報アクセス研究分野におけるより責任ある、妥当性の高い、教育的根拠を備えた実験的実践の増大に応える必要性を扱う。
• 本研究は、IR、RS、NLPシステムの実験的評価における内部妥当性、構成妥当性、外部妥当性の向上を図る。
• 本研究は、学術界と産業界の間での実験と評価に関する協働を促進することを目的としている。
• 本研究は、次世代の研究者が批判的実験スキルを身につけられる教育リソースの開発を目的としている。
• 本論文は、分野における研究提出物とレビューの質を標準化・向上させるために、生き永くメンテナンスされる指針を提言する。

提案手法

• 本セミナーでは、12カ国から37名の専門家が参加し、IR、RS、NLP分野における実験的実践の核心的課題を特定した。
• 5つのワーキンググループを設立し、以下の分野を調査した：実世界研究、人間・機械の関連性判断、メソドロジカル教育、結果を隠したレビュー、著者向けガイドライン。
• 著者らは、動機づけ、メソドロジカルな根拠、再現可能性に重点を置いた、簡潔で包括的かつ建設的なガイドラインの草案を策定した。
• ガイドラインは、明確な主張、文献レビューの深さ、メソドロジカルな根拠、倫理的なデータ利用を強調する。
• 結果を隠したレビューは、パフォーマンス向上に偏った評価から、理論的整合性、仮説の質、メソドロジカル設計への注目を移すことを目的としている。
• ガイドラインは「生き永く更新可能な文書」として扱われ、定期的な改訂とコミュニティの協議を想定しており、国際会議や学術誌のレビュープロセスへの統合を提言する。

実験結果

リサーチクエスチョン

• RQ1 情報アクセス分野における責任ある研究を進めるために、最も有望な実験的メソドロジーは何か？
• RQ2 公平性、説明責任、透明性（FAccT）を実験的実践（FAccT-E）に統合するにはどうすればよいか？
• RQ3 学術界と産業界の間での実験に関する協働の有効なモデルは何か？
• RQ4 批判的実験スキルを教育現場で体系的に教えるにはどうすればよいか？
• RQ5 共同研究を支援するための共有評価インfraやハイブリッド参加モデルをどのように設計すればよいか？

主な発見

• 提案された著者向けガイドラインは、明確な動機づけ、範囲が明確にされた主張、先行研究との明確な差異化を重視し、パフォーマンス向上よりもメソドロジカルな根拠に重点を置く。
• ガイドラインは、多様で公開済みのデータセットの使用を推奨し、データソース、前処理、コードに関する十分な詳細を提供することで再現性を確保することを提言する。
• 結果を隠したレビューは、パフォーマンス指向のバイアスを軽減し、強い仮説、メソドロジカル設計、分析計画の優先順位付けを促進する。
• ワーキンググループは、実世界研究が参加者獲得、データ表現、縦断的設計の面で課題に直面しており、新たなインフラと分野特化型のアプローチが求められると特定した。
• 人間と機械の協働による関連性判断は有望であるが、LLMが人間の評価者に代われる条件はまだ明確ではなく、さらなる研究が求められる。
• コミュニティは、ガイドラインを「生き永く更新可能な文書」として扱い、研究の慣習や倫理基準の変化を反映させるために定期的な更新と広範な協議を推奨される。