[論文レビュー] A multi-label classification method using a hierarchical and transparent representation for paper-reviewer recommendation

Dong Zhang, Shu Zhao+4 more|arXiv (Cornell University)|Dec 19, 2019

Expert finding and Q&A systems参考文献 51被引用数 8

ひとこと要約

本稿では、論文-レビュアー推薦の精度を向上させるために、階層的かつ透明性のある表現（Hiepar）を用いたマルチラベル分類手法 Hiepar-MLC を提案する。レビュアーと論文を、注意機構を備えた二段階の双方向ゲート付き再帰的ニューラルネットワークでモデル化することで、語-文-文書レベルの意味的特徴を捉え、レビュアー推薦をマルチラベル分類タスクに変換する。本手法は、ACM Digital Library データセットにおいて粗粒度ラベルの粗め化設定下で 63.15% の精度を達成し、既存のベースラインを上回っている。

ABSTRACT

Paper-reviewer recommendation task is of significant academic importance for conference chairs and journal editors. How to effectively and accurately recommend reviewers for the submitted papers is a meaningful and still tough task. In this paper, we propose a Multi-Label Classification method using a hierarchical and transparent Representation named Hiepar-MLC. Further, we propose a simple multi-label-based reviewer assignment MLBRA strategy to select the appropriate reviewers. It is interesting that we also explore the paper-reviewer recommendation in the coarse-grained granularity.

研究の動機と目的

• 学術出版における論文へのレビュアーの正確な推薦の課題に対処すること。
• レビュアーと論文の多面的で階層的な研究関心を、透明性があり解釈可能な表現を用いてモデル化すること。
• 論文-レビュアー推薦タスクをマルチラベル分類問題に再定式化し、ラベル構造を活用して予測性能を向上させること。
• 細粒度および粗粒度のラベル空間の両方で、手法の有効性を評価すること。
• 提案された Hiepar-MLC フレームワークが実世界の学術データにおいて実現可能で頑健であることを示すこと。

提案手法

• Hiepar は、論文およびレビュアーの語→文→文書レベルの階層的意味的構造をモデル化するため、注意機構を備えた二段階の双方向ゲート付き再帰的ニューラルネットワークを用いて学習される。
• 本手法は、研究ラベルに関連する顕著な意味的要素を強調する階層的かつ透明性のある埋め込み表現を、レビュアーと論文の両方で使用する。
• 論文-レビュアー推薦問題は、CCS分類法における研究分野に該当する各ラベルが対応するマルチラベル分類タスクに再定式化される。
• 新規のマルチラベルベースのレビュアー割り当て（MLBRA）戦略により、予測されたマルチラベルスコアに基づいて上位-k のレビュアーが選択される。
• 異なる粒度で性能を評価するために、ラベルの粗め化戦略が適用され、階層的ラベル関係が保持される。
• モデルは 2017 年以前に発表された論文で学習され、2017 年の論文でテストされる。

実験結果

リサーチクエスチョン

• RQ1 階層的かつ透明性のある表現は、論文-レビュアー推薦の精度を向上させることができるか？
• RQ2 階層的構造を用いてマルチラベル研究関心をモデル化することで、ラベル予測性能にどのような影響を与えるか？
• RQ3 レビュアー推薦をマルチラベル分類タスクに変換することで、従来の手法と比較して推薦品質が向上するか？
• RQ4 提案された MLBRA 戦略は、マルチラベル予測から関連性の高いレビュアーを効果的に選択できるか？
• RQ5 粗粒度ラベルの粒度で評価した場合、本手法の性能はいかほどか？

主な発見

• 戦略 1（上位 3 つの粗粒度分類）の設定下で、Hiepar-MLC は ACM Digital Library データセットで 63.15% の精度を達成し、BOW+TFIDF（34.55%）、LSI（31.61%）、LDA（17.47%）、BBA（28.96%）を大きく上回った。
• 戦略 2（最も細かい粒度のラベルを除外）の設定下で、Hiepar-MLC は 55.57% の精度を達成し、BOW+TFIDF（34.02%）や LDA（22.88%）をすべて上回った。
• 1,000 件の論文からなる小さなサブセットでも、Hiepar-MLC は戦略 1 で 63.00%、戦略 2 で 57.00% の精度を維持しており、スケーラビリティと頑健性が確認された。
• 複数の評価指標および設定において、本手法は優れた性能を示し、階層的表現とマルチラベル分類の有効性が確認された。
• ラベルの粗め化戦略により、本手法が異なる粒度レベルに適応可能であることが検証され、実世界のシステムへの実用的導入を支援する。
• 結果から、階層的ラベル構造と透明性のある注目メカニズムを活用することで、解釈可能性と予測精度の両方が向上することが確認された。