[論文レビュー] What is the right way to represent document images?

Gabriela Csurka, Diane Larlus+2 more|arXiv (Cornell University)|Mar 3, 2016

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 7

ひとこと要約

本稿は、分類、クラスタリング、リtrievalのタスクにおいて、浅い特徴（例：RunLength、Fisher Vector）、深層畳み込みニューラルネットワーク（CNN）特徴、ハイブリッドアーキテクチャの3つのドキュメント画像表現手法をベンチマークしている。ドメインシフトが最小限の場合は深層特徴が他の手法を上回るが、レイアウトの変動やアスペクト比の変化に対して頑健であるため、大規模なドメインシフト下ではPCA低次元化を施したFisher Vector特徴が一般化性能に優れることが判明した。

ABSTRACT

In this article we study the problem of document image representation based on visual features. We propose a comprehensive experimental study that compares three types of visual document image representations: (1) traditional so-called shallow features, such as the RunLength and the Fisher-Vector descriptors, (2) deep features based on Convolutional Neural Networks, and (3) features extracted from hybrid architectures that take inspiration from the two previous ones. We evaluate these features in several tasks (i.e. classification, clustering, and retrieval) and in different setups (e.g. domain transfer) using several public and in-house datasets. Our results show that deep features generally outperform other types of features when there is no domain shift and the new task is closely related to the one used to train the model. However, when a large domain or task shift is present, the Fisher-Vector shallow features generalize better and often obtain the best results.

研究の動機と目的

• ドキュメント画像表現の3種類を評価・比較すること：浅い特徴（RunLength、Fisher Vector）、深層CNN特徴、ハイブリッドアーキテクチャ。
• これらの特徴が分類、クラスタリング、リtrievalの複数のタスクでどのように性能を発揮するかを評価すること。
• 特にドメインシフト下での特徴の転送可能性を調査すること。
• ハイブリッドアーキテクチャが、浅い特徴の効率性と深層モデルの性能の間で実用的な妥協点を提供できるかどうかを検証すること。
• データセットの類似性とタスク要件に基づいて最適な表現手法を選択するための実証的指針を提供すること。

提案手法

• 空間ピラミッドプーリングを用いたRunLength符号化とFisher Vector記述子を用いて浅い特徴を抽出した。
• 事前学習済みの畳み込みニューラルネットワーク（例：GoogLeNet、VGG）を微調整し、複数の層からの深層活性化特徴を抽出した。
• 浅い特徴（例：FV256）と学習可能な層を組み合わせることでハイブリッドアーキテクチャを構築し、エンドツーエンド学習を可能にするとともに解釈可能性を維持した。
• 効率性と一般化性能の向上を目的に、Fisher Vectorの次元をPCAで低次元化した（例：FV256+PCA）。
• 公開データセット（RVL-CDIP、CLEF-IP）および社内データセット（IH1、IH2、IH3）を用い、ドメインシフトを制御した標準プロトコルで特徴を評価した。
• タスクおよびデータセットごとにアブレーションスタディを実施し、一般化性能と転送可能性を分析した。

実験結果

リサーチクエスチョン

• RQ1 ドメインシフトが存在しない状況では、深層CNN特徴（例：CNN-G-i4e）が分類タスクにおいて常に浅い特徴およびハイブリッド特徴を上回るのか？
• RQ2 ハイブリッドアーキテクチャは、純粋な浅い特徴や深層特徴と比較して、データセットやタスク間でどれほど一般化性能を発揮するのか？
• RQ3 どのような条件下で、PCA低次元化を施したFisher Vector特徴がドキュメント画像理解において深層CNN特徴を上回るのか？
• RQ4 レイアウトの変更、アスペクト比の変化、クラス分布の変化といったドメインシフトが、異なる特徴タイプの性能にどのように影響を与えるのか？
• RQ5 ハイブリッドアーキテクチャは、ドキュメント画像表現において、性能と学習コストの間で良好なトレードオフを達成できるのか？

主な発見

• ドメインシフトが存在しない場合、深層CNN特徴（例：CNN-G-i4e）は分類、クラスタリング、リtrievalの全タスクで最良の性能を発揮した。
• ハイブリッドアーキテクチャは深層CNNにほぼ匹敵する性能を発揮するが、はるかに少ない学習コストで実現可能であり、リource制約のある環境では強力な代替手段である。
• 大規模なドメインシフト下では、特にクラス内変動が大きく、アスペクト比が変化する状況において、FV256+PCAが深層特徴および浅い特徴を一貫して上回った。
• レイアウト幾何学的特徴が重要なデータセット（例：IH2では細分化されたレイアウトベースのカテゴリを有する）では、CNN活性化特徴（例：CNN-A-p5）がFVベースの特徴を上回った。
• 細分化された顧客固有のドキュメントカテゴリを持つIH3データセットでは、CNN-G-i4e特徴が最良のリtrieval結果を達成したが、顧客固有の変動の影響により関連性が低下することが多かった。
• IH2においては、5層の空間ピラミッドを備えたRunLength記述子（RL+SP）がFV256をクラスタリングおよびリtrievalタスクで上回った。これは、単純で幾何学的感度の高い浅い特徴が、レイアウトに敏感な状況では競争力を持つ可能性があることを示している。