[論文レビュー] Deep learning for Chemometric and non-translational data

Jacob Søgaard Larsen, Line Katrine Harder Clemmensen|arXiv (Cornell University)|Oct 1, 2019

Spectroscopy and Chemometric Analyses参考文献 23被引用数 6

ひとこと要約

本論文は、信号のリサイズや平行移動をせずに、ネットワーク間で重みを共有することにより、入力サイズが異なる化学計測および分光的データに対して畳み込みニューラルネットワークをトレーニングするための新しい深層学習手法を提案する。この手法は、中規模および小規模なデータセットを統合する際、転移学習を上回り、スペクトルデータの整合性を損なわずに分散を低減し、一般化性能を向上させる。

ABSTRACT

We propose a novel method to train deep convolutional neural networks which learn from multiple data sets of varying input sizes through weight sharing. This is an advantage in chemometrics where individual measurements represent exact chemical compounds and thus signals cannot be translated or resized without disturbing their interpretation. Our approach show superior performance compared to transfer learning when a medium sized and a small data set are trained together. While we observe a small improvement compared to individual training when two medium sized data sets are trained together, in particular through a reduction in the variance.

研究の動機と目的

• 異なるデータセットにおける波長のばらつきに起因する不一致な入力サイズを持つ分光的データに対する深層ニューラルネットワークのトレーニングの課題に対処する。
• 信号の平行移動やリサイズによる歪みを引き起こすため、化学計測分野におけるデータ拡張や転移学習の限界を克服する。
• 異なる入力次元を持つ複数のデータセットが、重み共有を通じて共通の高次元表現を共同で学習できる共同トレーニングフレームワークを開発する。
• 小規模または中規模の化学計測データセットでトレーニングする際のモデル一般化性能の向上と分散の低減を図る。
• 一致した波長や信号変換を必要とせずに、効果的な知識の転送を可能にする。

提案手法

• 異なる入力サイズに特化した複数の深層畳み込みニューラルネットワーク（CNN）を用いた共同トレーニングフレームワークを提案するが、畳み込み層の重みを共有する。
• 1次元畳み込み演算を用い、ネットワーク間でフィルタを共有することで、長さが異なる信号 p および p* をリサイズせずに処理できる。
• スパarsity（スパarsity）と重みの分離を促進する正則化コストを導入し、モデルの解釈性と一般化性能を向上させる。
• バックプロパゲーションを用いてエンドツーエンドでネットワークをトレーニングし、全データセットからの勾配に基づいて共有重みを更新する。
• 性能と安定性を評価するために、完全勾配およびストップ勾配アプローチを含む転移学習の変種と本手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 異なる入力サイズのデータセットでトレーニングされた複数のCNN間で重みを共有することで、個別トレーニングや転移学習と比較してモデル性能が向上するか？
• RQ2 化学計測応用において中規模データセットと小規模データセットを統合する際、本手法が分散と一般化性能に与える影響はいかほどか？
• RQ3 信号のリサイズや平行移動を一切行わないことで、標準的な転移学習と比較して分光的データ解析におけるモデル性能がより良好に保たれるか？
• RQ4 スパースかつ分離された重みの正則化が、モデル性能と解釈性にどの程度向上効果をもたらすか？
• RQ5 複数の実世界の化学計測データセットにおいて、RMSE、R²、バイアス指標の観点から、本手法は転移学習と比較してどの程度優れているか？

主な発見

• 中規模データセットと小規模データセットを統合する際、提案手法は転移学習を著しく上回り、性能が向上し、分散が低減された。
• 2つの中規模データセットにおいて、個別トレーニングに比べてわずかだが一貫した性能向上が得られ、主に予測の分散低減に起因する。
• IDRC 2002 データセットでは、重み共有手法が R² 0.948（平均）および RMSE 0.632 を達成し、転移学習の変種を上回った。
• Wheat データセットでは、R² 0.989（平均）および RMSE 0.577 を達成し、優れた一般化性能と低バイアスを示した。
• 本手法は全データセットでバイアスを低減し、安定性を向上させ、SWRI データセットでは重み共有モデルが最小の平均バイアス（0.051）を示した。
• スパースかつ分離された重みの正則化は、特にデータが少ない状況下でモデルの安定性を向上させ、過学習を低減するのに寄与した。