[論文レビュー] Deep Paper Gestalt

Jia‐Bin Huang|arXiv (Cornell University)|Dec 20, 2018

Multimodal Machine Learning Applications被引用数 11

ひとこと要約

この論文は、視覚的外観（論文のグスタルト）に基づく深層学習ベースの分類器を提案し、良し悪しの論文を92％の正確度で区別することに成功した。この手法は、レビュアーの負担を軽減し、低品質な提出物の50％を安全に除外しつつ、優良論文のうちたった0.4％しか誤分類しない。また、視覚化とGANベースの翻訳を用いて、著者が論文のレイアウトを改善するための診断ツールを提供する。

ABSTRACT

Recent years have witnessed a significant increase in the number of paper submissions to computer vision conferences. The sheer volume of paper submissions and the insufficient number of competent reviewers cause a considerable burden for the current peer review system. In this paper, we learn a classifier to predict whether a paper should be accepted or rejected based solely on the visual appearance of the paper (i.e., the gestalt of a paper). Experimental results show that our classifier can safely reject 50% of the bad papers while wrongly reject only 0.4% of the good papers, and thus dramatically reduce the workload of the reviewers. We also provide tools for providing suggestions to authors so that they can improve the gestalt of their papers.

研究の動機と目的

• コンピュータビジョンの国際会議における論文提出件数の増加に伴い、査読者の負担が増大している問題に対処すること。
• 論文のグスタルト（レイアウト、フォーマット、視覚的構造）のみを用いて、論文の受容可能性を予測する視覚ベースの分類器を開発すること。
• 著者に対して、論文の視覚的品質と構造を改善するための実行可能なフィードバックを提供すること。
• 分類器をレビュー・パイプラインの事前フィルタとして導入することで、レビュアーの負担を軽減すること。
• 判別領域を可視化し、低品質な論文をより良い構造のものに変換する診断ツールを構築すること。

提案手法

• 2013年から2017年のICCVおよびCVPRの会議およびワークショップ論文を用いて、深層畳み込みニューラルネットワーク（ConvNet）を訓練し、視覚的外観に基づいて論文を良し／悪しに分類する。
• オープンアクセスの会議論文（ポジティブ例）とワークショップ論文（近似されたネガティブ例）を用いてデータセットを構築し、7ページ以上であるものを対象にフィルタリングした。
• モデル入力用に、pdf2imageを用いてPDFを画像グリッド（1論文あたり2×4レイアウト）に変換した。
• クラス固有の判別領域を可視化するためにGrad-CAMを用い、良し悪しを区別するための重要なレイアウト要因（例：図の配置、テキストと図のバランス、一貫性のあるフォーマット）を同定した。
• 悪い論文を視覚的に改善された、良質な論文に似たバージョンに変換する、CycleGANベースの非ペaired画像対画像翻訳モデルを訓練した。
• 条件付きGANを用いて、高品質論文のレイアウト分布を学習し、合成された良質な論文を生成した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、視覚的レイアウトとフォーマットのみに基づいて、論文の品質を正確に分類できるか？
• RQ2 このようなモデルは、事前フィルタリングによって低品質な提出物を除外することで、どれほどレビュアーの負担を軽減できるか？
• RQ3 視覚的診断ツールは、レイアウト上の欠陥を特定し、改善策を提示するのにどれほど効果的か？
• RQ4 GANベースの翻訳モデルは、悪いレイアウトの論文から妥当で高品質なレイアウトを生成できるか？
• RQ5 このモデルは、将来の国際会議の未確認の論文提出物に対しても一般化可能か？

主な発見

• 分類器は、CVPR 2018の論文に対して92％の正確度を達成し、2013–2017年の訓練データから良好な一般化性能を示した。
• モデルは低品質な提出物の50％を安全に除外しつつ、優良論文のうちたった0.4％しか誤って悪質と分類しなかった。
• Grad-CAMの可視化により、モデルが図の配置、テキストと図のバランス、一貫性のあるフォーマットといった重要なレイアウト要因に注目していることが明らかになった。
• CycleGANベースの翻訳モデルは、実用的なレイアウト改善を効果的に提案でき、具体的にはトゥイーター図の追加、図の色の強化、不完全なページの埋め filling が可能だった。
• 良質な論文生成器は、図、表、数式、テキストの適切な配置を備えた視覚的に妥当でバランスの取れたレイアウトを生成した。
• システムは効率的に動作し、数千件の論文を数秒で分類できるため、大規模なレビュー・パイプラインにおける事前スクリーニングに適している。