[論文レビュー] Quality Resilient Deep Neural Networks

Samuel Dodge, Lina J. Karam|arXiv (Cornell University)|Mar 23, 2017

Advanced Image Processing Techniques参考文献 20被引用数 33

ひとこと要約

本稿では、特定の画像歪み（例：ノイズ、ぼかし）に特化したニューラルネットワークエキスパートを動的に重み付けするためのエキスパートの混合（MoE）ディーブラーニングモデルを提案する。歪みの明示的ラベルなしに、入力の特性に応じて適応的にルーティングを行うゲーティングネットワークを用いる。この手法により、多様な歪みに対して堅牢な分類性能を達成し、パラメータ効率的な重み共有を実現するためのInverted-TreeNetsを導入。モデルサイズは最大60%まで削減され、標準的なアンサンブル手法よりも精度が向上する。

ABSTRACT

We study deep neural networks for classification of images with quality distortions. We first show that networks fine-tuned on distorted data greatly outperform the original networks when tested on distorted data. However, fine-tuned networks perform poorly on quality distortions that they have not been trained for. We propose a mixture of experts ensemble method that is robust to different types of distortions. The "experts" in our model are trained on a particular type of distortion. The output of the model is a weighted sum of the expert models, where the weights are determined by a separate gating network. The gating network is trained to predict optimal weights for a particular distortion type and level. During testing, the network is blind to the distortion level and type, yet can still assign appropriate weights to the expert models. We additionally investigate weight sharing methods for the mixture model and show that improved performance can be achieved with a large reduction in the number of unique network parameters.

研究の動機と目的

• トレーニング時に見られなかった画像歪みに対して、深層ニューラルネットワークの一般化性能が低い問題に対処すること。
• 歪みの種別やレベルに関する事前知識なしに、複数の歪みタイプ（例：ノイズ、ぼかし）に対して堅牢性を向上させること。
• 新たな重み共有戦略を用いてアンサンブルモデルのパラメータ数を削減し、性能を維持または向上させること。
• 入力の特性に基づいて最適なエキスパート重みを自動的に割り当てるシステムを構築すること。

提案手法

• 各エキスパートが特定の歪みタイプ（例：ガウスノイズやぼかし）で微調整された深層ニューラルネットワークからなるエキスパートの混合アンサンブルを構築する。
• 別個のゲーティングネットワークが、入力画像に基づいて各エキスパートの最適な重みを予測し、歪みの明示的ラベルなしに動的ルーティングを可能にする。
• ゲーティングネットワークは、分類誤差を最小化するようにエンド・ツー・エンドで訓練され、入力の歪み特性に適したエキスパートに高い重みを割り当てるよう学習する。
• Inverted-TreeNetsを導入し、エキスパート間で初期層を共有し、後段の層を特化させる。通常のツリー構造とは逆転させることでパラメータ数を削減する。
• 異なるネットワーク層（例：Conv2_1からFC8まで）で重み共有を適用し、ブランチポイントの選定による性能のトレードオフをアブレーションスタディで評価する。
• AUCを主な指標として、Caltech101、Caltech256、Scene67のデータセット上でノイズおよびぼかし歪みの下でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 エキスパートの混合モデルは、個々の歪みタイプで微調整された単一モデルやユニオントレーニングと比較して、複数の画像歪みに対してより優れた耐性を示せるか？
• RQ2 重み付きアンサンブルの性能は、単純平均や単一モデルの微調整と比較して、多様な歪みタイプにおいて優れているか？
• RQ3 エキスパートの混合アーキテクチャにおける重み共有により、モデルサイズを顕著に削減できるか？
• RQ4 後段の層を共有し、初期層を特化させるInverted-TreeNetアーキテクチャは、標準的なツリー型パラメータ共有と比較して、精度と効率の面で優れているか？
• RQ5 明示的な歪み種別やレベルの予測なしに、ゲーティングネットワークが適切にエキスパート重みを割り当てられるか？

主な発見

• エキスパートの混合モデル（M_mix）は、ノイズおよびぼかし歪みの下で平均AUC 0.76を達成し、個別に微調整されたモデル（例：M_noiseおよびM_blur）が示すような一般化性能の低さを克服した。
• FC7をブランチポイントとするInverted-TreeNetは、Caltech101で平均AUC 0.78を達成し、完全な混合モデル（0.76）および類似パラメータ数の標準的なTreeNetを上回った。
• FC6をブランチポイントとするInverted-TreeNetは、モデルパラメータ数を389.35百万（完全モデルの404.62百万と比較）に削減し、40%の削減を達成しながらも高い性能を維持した。
• FC7をブランチポイントとするInverted-TreeNetは、Caltech101で平均AUC 0.77を達成し、類似パラメータ数の標準的なTreeNet（0.60 AUC）を著しく上回った。
• 提案手法は歪み種別にわたって良好な一般化性能を示し、ノイズおよびぼかしの両方の状況下でも正しく分類できる。一方、単一微調整モデルは未学習の歪みでは失敗する。
• ゲーティングネットワークは、歪みの明示的ラベルなしに適切なエキスパート重みを割り当てることができ、入力の特性に基づいた適応的ルーティングの能力を示した。