[論文レビュー] Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection

Jing Zhang, Jianwen Xie+1 more|arXiv (Cornell University)|Jul 23, 2020

Visual Attention and Saliency Detection参考文献 57被引用数 6

ひとこと要約

本稿では、教師なしのハンドクラフト特徴ベース手法によって生成されるノイズありラベルからクリアなエッジマップを分離するノイズに配慮したエンコーダ・デコーダフレームワークを提案する。推論においてラングヴィン動力学を用いた交互勾配降下法とエッジに配慮した滑らかさ正則化を組み合わせることで、ベンチマークデータセット上で弱教師ありおよび変分推論ベースラインを上回る頑健なエッジ予測器を学習する。

ABSTRACT

In this paper, we propose a noise-aware encoder-decoder framework to disentangle a clean saliency predictor from noisy training examples, where the noisy labels are generated by unsupervised handcrafted feature-based methods. The proposed model consists of two sub-models parameterized by neural networks: (1) a saliency predictor that maps input images to clean saliency maps, and (2) a noise generator, which is a latent variable model that produces noises from Gaussian latent vectors. The whole model that represents noisy labels is a sum of the two sub-models. The goal of training the model is to estimate the parameters of both sub-models, and simultaneously infer the corresponding latent vector of each noisy label. We propose to train the model by using an alternating back-propagation (ABP) algorithm, which alternates the following two steps: (1) learning back-propagation for estimating the parameters of two sub-models by gradient ascent, and (2) inferential back-propagation for inferring the latent vectors of training noisy examples by Langevin Dynamics. To prevent the network from converging to trivial solutions, we utilize an edge-aware smoothness loss to regularize hidden saliency maps to have similar structures as their corresponding images. Experimental results on several benchmark datasets indicate the effectiveness of the proposed model.

研究の動機と目的

• 弱教師ありのノイズありラベルしか入手できない状況において、正確なエッジ検出モデルを訓練する課題に対処すること。
• ガウスノイズを仮定するか、近似事後分布を用いた変分推論に依存する既存手法の限界を克服すること。
• ニューラルネットワークベースの生成器を用いて、クリアなエッジマップと構造的ノイズを分離する柔軟な深層潜在変数モデルを開発すること。
• エッジに配慮した滑らかさ正則化を組み込むことで一般化性能と頑健性を向上させ、自明な解への収束を防ぐこと。
• 低リソースラベリング環境、特に1枚の画像に対して1つのノイズありラベルや不完全な人間ラベルが与えられる状況でも有効性を示すこと。

提案手法

• 各ノイズありラベルを、エンコーダ・デコーダネットワークによって予測されるクリアなエッジマップと、ニューラルネットワークを介してガウス潜在ベクトルから生成されるノイズマップの和としてモデル化する。
• モデルを交互勾配降下法（ABP）を用いて学習し、モデルパラメータの勾配上昇と潜在ベクトルの事後分布推論のためのラングヴィン動力学を交互に実行する。
• ラングヴィン動力学を用いて、解析的に求められない事後分布 $ p(Z|Y,X) $ からのサンプリングを可能とし、変分近似を用いずに正確な最尤推定を実現する。
• 予測されたエッジマップが入力画像と構造的に整合性を保つように、エッジに配慮した滑らかさ損失を導入する。
• 学習目的関数を観測データの対数尤度を最大化することに定式化し、MCMCサンプルの経験的平均を用いて勾配を計算する。
• ノイズ生成器がゼロノイズを学習可能であるようにすることで、クリアラベルからの学習を特別なケースとして可能とし、ラベルの不完全さに対しても頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 教師なし特徴ベース手法によって生成されるノイズありラベルから、クリアなエッジマップを効果的に分離できるか？
• RQ2 ラングヴィン動力学を用いた交互勾配降下法は、変分推論に比べてノイズに配慮したエッジ予測器の学習で優れているか？
• RQ3 本手法は、1枚あたりのノイズありラベルの数や品質の変動に対してどれほど頑健か？
• RQ4 エッジに配慮した滑らかさ正則化は、自明な解への収束をどれほど効果的に防ぐか？
• RQ5 人間ラベルが不完全であっても、モデルはクリアラベルに一般化できるか？

主な発見

• 提案手法であるABPベースのアプローチは、条件付き変分自己符号化器（cVAE）を上回る優れた性能を達成し、ベンチマークデータセット全体でFスコアと平均絶対誤差の差が顕著に開いている。
• 1枚あたり1つのノイズありラベルでの学習でも、性能が著しく保たれるため、ラベルの量と質に対する頑健性が確認された。
• RBD、MR、GSに基づくノイズありラベルに対する実験では、元の非教師あり手法を常に上回り、$ f $-RBD、$ f $-MR、$ f $-GSはそれぞれRBD、MR、GSを上回った。
• DUTSのクリアラベルで学習した場合、標準的なエンコーダ・デコーダ（$ f_1^* $）よりも提案モデル（$ f^* $）が優れた性能を示し、クリアラベル環境でもノイズモデリングの価値が証明された。
• エッジに配慮した滑らかさ損失により、予測エッジマップと入力画像との構造的一致性が保たれ、自明な解への収束が効果的に防止されていることが実証された。
• 人間ラベルが不完全であっても、モデルはクリアラベルに良好に一般化しており、実際の人間ラベルすら「ノイズを含む」という事実が示され、ノイズ処理機構の有効性が裏付けられた。