[論文レビュー] Denoising without access to clean data using a partitioned autoencoder

Dan Stowell, Richard E. Turner|arXiv (Cornell University)|Sep 20, 2015

Image and Signal Denoising Methods参考文献 14被引用数 13

ひとこと要約

本稿では、真の清浄データにアクセスできない状況下で、ノイズのみの例（弱いラベル付き）とノイズ混在データのみを用いて、信号とノイズのそれぞれに別々の潜在表現を学習する構造的正則化損失を用いることで、ノイズ除去を行う分割型オートエンコーダーを提案する。この手法は、ノイズ条件が一致する状況下で標準的なノイズ除去オートエンコーダーを上回り、真の清浄データを必要とせずに、清浄スペクトログラムの再構成性能が優れている。

ABSTRACT

Training a denoising autoencoder neural network requires access to truly clean data, a requirement which is often impractical. To remedy this, we introduce a method to train an autoencoder using only noisy data, having examples with and without the signal class of interest. The autoencoder learns a partitioned representation of signal and noise, learning to reconstruct each separately. We illustrate the method by denoising birdsong audio (available abundantly in uncontrolled noisy datasets) using a convolutional autoencoder.

研究の動機と目的

• ノイズ除去オートエンコーダーの学習において、真の清浄データが入手できないという実用的制約に対処すること。
• 清浄データが利用不可な状況下で、ノイズ混在データとノイズのみの例からもノイズ除去を可能にすること。
• 清浄データを必要とせずに、潜在空間における信号とノイズの分離表現を学習すること。
• 潜在表現にノイズを別個のコンponentとして明示的にモデル化することで、ノイズ除去の忠実度を向上させること。
• 信号固有の潜在係数のみを用いて、下流タスクを実行可能にする。

提案手法

• 標準的なオートエンコーダーを用い、入力と出力データ間の再構成損失を計算する。
• 信号関連の潜在ユニットがノイズのみの例で活性化されないようにするための構造的正則化項を導入し、学習可能なマスク行列 C を用いる。
• 再構成誤差と正則化項を組み合わせた損失関数を定義する： l(X,y) = ||X - X̂||² + (λy / C̄)||C ⊙ f(X)||²。
• ミニバッチに、固定された割合のノイズのみの例（y=1）と信号＋ノイズの混合例（y=0）を含めて学習を実行する。
• バイナリーマスク C を用いた要素ごとの乗算により、信号関連の潜在変数に制約を課す。ここで、1は信号関連の潜在変数を示す。
• 実世界の設定（例：鳥のさえずりの記録）ではノイズのみのデータが豊富に存在するため、弱い教師あり学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 学習中に真の清浄データが一切存在しない状況下でも、ノイズ除去オートエンコーダーを効果的に学習できるか？
• RQ2 清浄例にアクセスできない状況下で、モデルが潜在空間において信号成分とノイズ成分を区別・分離できるか？
• RQ3 ノイズのみの例に対して明示的な正則化を施した分割型潜在表現は、標準的なノイズ除去オートエンコーダーに比べて、より優れたノイズ除去性能を達成するか？
• RQ4 内在的および外在的ノイズ源が不一致する状況下で、この手法は一般化できるか？
• RQ5 学習された信号専用の潜在表現は、下流の解析や分類タスクに有効に利用できるか？

主な発見

• ノイズ条件が一致する状況下で、提案手法の分割型オートエンコーダーは、標準的なノイズ除去オートエンコーダーに比べ、清浄スペクトログラム再構成において顕著に高いSNRを達成した。
• 一致するノイズ条件下で、本手法はDAEを著しく上回り、真の清浄信号に近い再構成忠実度を示した。
• 正則化の割合が広い範囲で安定した性能を示したが、100％正則化ではアンダーフィットが生じ、正則化の強度が妥当であることを裏付けた。
• ノイズ条件が不一致する状況下では、本手法は一般化に失敗した。これは、浅いアーキテクチャと多様なノイズタイプに対して一般化能力の限界があることを示唆している。
• 標準的なDAEは、部分的に清浄な入力を再構成するという目的にはうまく機能するが、ノイズが不一致する場合には真の清浄信号を再構成できなかった。
• 結果から、分割型アプローチの優位性は、単なる正則化ではなく、潜在空間における信号とノイズの明示的分離に起因していることが示された。