[論文レビュー] Image operator learning coupled with CNN classification and its application to staff line removal

Frank Julca-Aguilar, Nina S. T. Hirata|arXiv (Cornell University)|Sep 19, 2017

Image and Signal Denoising Methods参考文献 8被引用数 4

ひとこと要約

この論文では、従来の学習手法のウィンドウサイズ制限と特徴工学の制限を克服するために、音楽楽譜画像の staff line 削除のための画像演算子を学習するために畳み込みニューラルネットワーク（CNN）を提案する。CNNベースのアプローチは、大きな受容 field とエンド・ツー・エンドの特徴学習を活用することで、97.96%の正確性と95.72%の再現率を達成し、従来のヒューリスティック的手法および学習済み演算子手法を上回る。

ABSTRACT

Many image transformations can be modeled by image operators that are characterized by pixel-wise local functions defined on a finite support window. In image operator learning, these functions are estimated from training data using machine learning techniques. Input size is usually a critical issue when using learning algorithms, and it limits the size of practicable windows. We propose the use of convolutional neural networks (CNNs) to overcome this limitation. The problem of removing staff-lines in music score images is chosen to evaluate the effects of window and convolutional mask sizes on the learned image operator performance. Results show that the CNN based solution outperforms previous ones obtained using conventional learning algorithms or heuristic algorithms, indicating the potential of CNNs as base classifiers in image operator learning. The implementations will be made available on the TRIOSlib project site.

研究の動機と目的

• 機械学習における入力サイズ制限により、従来の画像演算子学習手法が大きな入力ウィンドウを処理できることの制限を解決すること。
• 低レベルの画像変換における画像演算子学習フレームワークにおける CNN をベース分類器としての有効性を評価すること。
• ウィンドウサイズおよび畳み込みフィルターサイズが、staff line 削除におけるパフォーマンスに与える影響を調査すること。
• 公開された音楽楽譜データセット上で、提案された CNN ベースの手法と最先端のヒューリスティックおよび学習済み演算子技術を比較すること。
• 画像演算子学習の文脈における CNN の一般化可能性およびハイパーパramータ感受性を検討すること。

提案手法

• 有限なサポート窓 W を用いて、画像変換を並進不変かつ局所的に定義された画像演算子として形式化し、各画素の出力が関数 ψ を介して局所的近傍に依存するようにする。
• 従来の局所的分類器（例：決定木やSVM）の代わりに CNN を採用することで、大規模な入力ウィンドウを処理可能にし、拡張された局所的文脈からの複雑で階層的な特徴を学習可能にする。
• 複数の畳み込み層およびプーリング層を備えた標準的な CNN アーキテクチャを用い、最初の層のフィルターサイズおよび受容 field（ウィンドウサイズ）をモデル選択の過程で調整可能なハイパーパramータとする。
• ペアド入力-出力画像（元の楽譜と staff line 削除済みバージョン）を用いた画素単位の教師あり学習により、CNN をエンド・ツー・エンドでトレーニングし、バイナリクロスエントロピー損失を用いる。
• 過学習を防ぎ、一般化性能を向上させるために、トレーニング中にデータオーグメンテーションと早期停止を適用する。
• 標準的な指標（正確性、特異性、再現率）を用いて、ホールドアウトされたテストセット上でパフォーマンスを評価し、同じ公開データセットを用いて従来手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 大きな入力ウィンドウサイズの制約がある中で、CNN は従来の学習アルゴリズムの制限を克服し、バイナリ画像変換のための画像演算子を効果的に学習できるか？
• RQ2 ウィンドウサイズおよび畳み込みフィルターサイズは、staff line 削除における CNN ベースの画像演算子学習のパフォーマンスにどのように影響するか？
• RQ3 CNN ベースのアプローチは、正確性、再現率、特異性の観点から、既存のヒューリスティックおよび学習済み演算子手法を上回るか？
• RQ4 受容 field サイズが、staff line と beam ノートの微細な局所的パターンを区別する能力に与える影響は何か？
• RQ5 CNN ベースの手法はハイパーパramータの選択にどれほど感受性を示し、標準的なトレーニングプロトコルが一貫したパフォーマンスをもたらすか？

主な発見

• CNN ベースの手法は、テストセットで 97.96% の正確性、98.98% の特異性、95.72% の再現率を達成し、ヒューリスティック（LTC、Skeleton、LRDE）および学習済み演算子（FS-MI）手法をすべて上回った。
• 受容 field が大きいモデル（19×19 ウィンドウ）は、小さいウィンドウ（例：13×17）を用いたモデルよりも顕著に優れた性能を示し、広範な文脈情報を捉える利点を実証した。
• 最初の層における最適な畳み込みフィルターサイズは 3×3 であり、検証セットでの平均絶対誤差が最小となった。これは、小規模なフィルタが基本的なパターンを捉えるのに十分であることを示唆している。
• 大きなウィンドウサイズであっても、beam ノート上の画素と staff line 上の画素の区別が困難な場合が一部存在し、後処理やアテンション機構の導入が求められる可能性を示した。
• 手動による特徴選択や演算子の合成の必要性が排除され、画像固有の特性に適応可能なデータ駆動型でエンド・ツー・エンドの学習プロセスが実現された。
• モデルは強力な一般化性能を示し、最良のパフォーマンスを示したモデルを全トレーニングセットで再トレーニングし、テストセットで評価した結果、データ分割にかかわらず一貫した性能が得られた。