[論文レビュー] Revise and Resubmit: An Intertextual Model of Text-Based Collaboration in Peer Review

Ilia Kuznetsov, Jan P. Buchmann+2 more|arXiv (Cornell University)|Apr 22, 2022

Topic Modeling被引用数 2

ひとこと要約

本稿は、共同レビューにおけるテキストベースの協働作業を内挿的（intertextual）にモデル化する手法を提案し、独創的なグラフベースのデータモデルを用いて、3つのコアタスク—実用的タギング、リンク、バージョン同期—を導入する。本稿では、F1000RDと呼ばれる、最初のマルチドメインでオープンな公開後レビューのコーパスを提示し、自然言語処理分野における共同テキスト分析の統合的モデリングの可能性を示している。

ABSTRACT

Peer review is a key component of the publishing process in most fields of science. Increasing submission rates put a strain on reviewing quality and efficiency, motivating the development of applications to support the reviewing and editorial work. While existing NLP studies focus on the analysis of individual texts, editorial assistance often requires modeling interactions between pairs of texts—yet general frameworks and datasets to support this scenario are missing. Relationships between texts are the core object of the intertextuality theory—a family of approaches in literary studies not yet operationalized in NLP. Inspired by prior theoretical work, we propose the first intertextual model of text-based collaboration, which encompasses three major phenomena that make up a full iteration of the review–revise–and–resubmit cycle: pragmatic tagging, linking, and long-document version alignment. While peer review is used across the fields of science and publication formats, existing datasets solely focus on conference-style review in computer science. Addressing this, we instantiate our proposed model in the first annotated multidomain corpus in journal-style post-publication open peer review, and provide detailed insights into the practical aspects of intertextual annotation. Our resource is a major step toward multidomain, fine-grained applications of NLP in editorial support for peer review, and our intertextual framework paves the path for general-purpose modeling of text-based collaboration. We make our corpus, detailed annotation guidelines, and accompanying code publicly available.

研究の動機と目的

• 共同レビューにおけるドキュメント間のテキストベースの協働作業をモデル化するための一般的なフレームワークとデータセットの不足に対処すること。
• レビュアーの発言と再編集のサイクルにおけるキーフェノメナをモデル化することで、内挿的理論をNLPに実装すること。
• 長文と内挿的関係をサポートする汎用的かつ拡張可能なデータモデル（内挿的グラフ）を構築すること。
• 明確なライセンスを備えた、最初のマルチドメインでオープンな公開後レビューのコーパス（F1000RD）を構築し、公開すること。
• アノテーション済みデータとコードを提供することで、編集支援を目的とした細粒度でマルチドメインなNLPアプリケーションを可能にすること。

提案手法

• テキスト的および非テキスト的要素を表現するためのグラフベースの内挿的グラフデータモデルを提案し、ドキュメント構造とドキュメント間関係を捉える。
• 3つのコアタスクを導入：実用的タギング（発話の意図によるステートメント分類）、リンク（テキスト間の細粒度の接続を同定）、バージョン同期（同じドキュメントの改訂版を同期）。
• 段落レベルのバージョン同期を実現するため、ILP制約を用いたルールベースで非教師ありのITG同期手法を採用。
• リンクアノテーションには2値ラベルスキーマを用い、今後の研究で分解的アプローチの検討を計画。
• 内挿的関係の高品質かつスケーラブルなアノテーションを支援するため、柔軟なアノテーションインターフェースとワークフローを開発。
• F1000RDコーパスと関連コードをオープンライセンスで公開し、再現性と再利用を促進。

実験結果

リサーチクエスチョン

• RQ1 内挿的理論をNLPにどのように実装し、共同レビューにおけるテキストベースの協働作業をモデル化できるか？
• RQ2 マルチドメインで公開後のレビュー環境において、実用的タギング、リンク、バージョン同期のアノテーションにおける主な課題と設計上の配慮事項は何か？
• RQ3 提案された非教師ありITGベースの同期手法は、ドキュメントの改訂間で段落レベルの高精度同期を達成するのにどの程度有効か？
• RQ4 共同テキスト分析における現在のアノテーションスキーマとタスク定義の実用的妥当性と限界は何か？
• RQ5 3つのタスクを統合的にモデリングすることで、個別タスク分析に比べて共同レビューの議論理解がどの程度向上するか？

主な発見

• 提案された内挿的モデルは、実用的タギング、リンク、バージョン同期を通じて、レビュアーが再編集・再提出するサイクルの核心的現象を効果的に捉えている。
• F1000RDコーパスは、明確なライセンスを備えた、公開済みでマルチドメインのオープンな公開後レビューのデータセットとして、最初のものであり、多様なNLP応用を支援する。
• 非教師ありITG同期手法は高い精度を達成しているが、70％のドキュメントでの完全同期にとどまっていることから、改善の余地がある。
• 統合的モデリングにより、タスク間の依存関係が非自明であることが明らかとなり、リンクの範囲と粒度が重要な未解決課題であることが示された。
• アノテーション品質はインターフェース設計と提案メカニズムに敏感であることが判明し、最適化されたアノテーションワークフローの必要性が示唆された。
• このフレームワークは拡張可能で、Wikipedia、ニュース、オンラインディスカッションプラットフォームなど他の分野にも応用可能であり、広範な採用の道を切り開いている。