[論文レビュー] Quaternion Convolutional Neural Networks for Heterogeneous Image Processing

Titouan Parcollet, Mohamed Morchid+1 more|arXiv (Cornell University)|Oct 31, 2018

Neural Networks and Applications参考文献 26被引用数 104

ひとこと要約

論文は quaternion-valued convolutional encoder-decoders (QCAE) が単一のグレースケール画像から色の依存関係を完全に学習し、実数値 CAEs に比べて色再構成で優れており、パラメータ数もはるかに少ない、ということを示している。

ABSTRACT

Convolutional neural networks (CNN) have recently achieved state-of-the-art results in various applications. In the case of image recognition, an ideal model has to learn independently of the training data, both local dependencies between the three components (R,G,B) of a pixel, and the global relations describing edges or shapes, making it efficient with small or heterogeneous datasets. Quaternion-valued convolutional neural networks (QCNN) solved this problematic by introducing multidimensional algebra to CNN. This paper proposes to explore the fundamental reason of the success of QCNN over CNN, by investigating the impact of the Hamilton product on a color image reconstruction task performed from a gray-scale only training. By learning independently both internal and external relations and with less parameters than real valued convolutional encoder-decoder (CAE), quaternion convolutional encoder-decoders (QCAE) perfectly reconstructed unseen color images while CAE produced worst and gray-scale versions.

研究の動機と目的

• QCNN が Hamilton product を介してカラー画像の学習と表現をなぜ改善するのかを調査する。
• quaternion-valued ネットワークが grayscale 訓練から内部ピクセルのカラー関係（R,G,B）を学習できることを実証する。
• グレースケールからカラーへの再構成における quaternion-valued エンコーダ-デコーダの性能を実数値の対応物と比較する。
• 異種データ条件下での再構成品質とモデル効率（パラメータ数）の利得を定量化する。

提案手法

• 同一のトポロジを用いた quaternion-valued convolutional encoder-decoder (QCAE) と real-valued convolutional encoder-decoder (CAE) を用いる。
• Kodak PhotoCD データセットの単一のグレースケール画像で訓練し、QCAE にはグレースケールのクォータニオンを形成、CAE にはグレースケールチャネルを用いる。
• 未知のカラー画像で検証し、カラー空間を再構成して元のカラー画像と比較する。
• PSNR および SSIM 指標で再構成を評価し、Hamilton product を介した内部特徴学習と外部特徴学習を分析する。
• クォータニオン演算を、分割活性化関数を用いた実数行列と、Hamilton product (Q1 ⊗ Q2) によって定義される畳み込みで表現する。
• パラメータ効率: QCAE はレイヤーあたり出力を約4倍使用するが、全体として ~6.4k パラメータ対 ~25k の CAE となります。

実験結果

リサーチクエスチョン

• RQ1 quaternion-valued ネットワークは実数値ネットワークが grayscale 訓練から RGB の色依存性を学習できない場合にも学習できるのか？
• RQ2 Hamilton product は異種画像処理における内部（ピクセル内）とグローバル（ピクセル間）依存性のより良い分離を可能にするのか？
• RQ3 quaternion encoder-decoder は実数値のエンコーダ-デコーダと比較して、パラメータ数を抑えつつ優れた再構成品質を提供するのか？
• RQ4 PSNR および SSIM 指標は、グレースケールからカラーへの再構成タスクにおいて QCAE と CAE の色学習能力をどのように反映するのか？

主な発見

• QCAE はグレースケール訓練からカラー画像をほぼ完璧に再構成する一方、CAE はグレースケール（白黒）結果を出力する。
• QCAE は二つのテスト画像で PSNR が 31.68 dB および 28.06 dB、対して CAE は 29.95 dB および 27.01 dB の PSNR を達成。
• QCAE の SSIM スコアは 0.96 と 0.93、CAE は 同じテストで 0.87 と 0.86。
• QCAE は約 6.4k パラメータを使用するのに対し、CAE は約 25k パラメータで、クォータニオンパラメータ化と Hamilton product のため。
• 結果は、クォータニオン表現が内部依存性とグローバル依存性をより効果的に分離することを支持し、異種データでも頑健な学習を実現する。