[論文レビュー] Mixture of Pre-processing Experts Model for Noise Robust Deep Learning on Resource Constrained Platforms

Taesik Na, Minah Lee+4 more|arXiv (Cornell University)|Apr 29, 2019

Advanced Neural Network Applications参考文献 20被引用数 4

ひとこと要約

本稿では、ノイズが多く低品質な入力下でもリソース制限のあるエッジデバイスにおけるディーブラーニングのロバスト性を向上させる軽量な前処理エキスパート混合（MoPE）モデルを提案する。ゲーティングネットワークを用いて、アイデンティティ、平均フィルタリング、敵対的に訓練されたオートエンコーダーの前処理エキスパートのうち動的に適切なものを選択することで、ベースラインモデルに比べてメモリオーバーヘッド0.67%、計算オーバーヘッド0.17%で、ノイズのあるデータにおいてもオブジェクト検出、トラッキング、アクティビティ分類の精度を顕著に向上させた。

ABSTRACT

Deep learning on an edge device requires energy efficient operation due to ever diminishing power budget. Intentional low quality data during the data acquisition for longer battery life, and natural noise from the low cost sensor degrade the quality of target output which hinders adoption of deep learning on an edge device. To overcome these problems, we propose simple yet efficient mixture of pre-processing experts (MoPE) model to handle various image distortions including low resolution and noisy images. We also propose to use adversarially trained auto encoder as a pre-processing expert for the noisy images. We evaluate our proposed method for various machine learning tasks including object detection on MS-COCO 2014 dataset, multiple object tracking problem on MOT-Challenge dataset, and human activity classification on UCF 101 dataset. Experimental results show that the proposed method achieves better detection, tracking and activity classification accuracies under noise without sacrificing accuracies for the clean images. The overheads of our proposed MoPE are 0.67% and 0.17% in terms of memory and computation compared to the baseline object detection network.

研究の動機と目的

• センサーノイズや低解像度の入力によってモデル性能が低下する、電力制限のあるエッジデバイスにおけるディーブラーニングの導入課題に対処すること。
• クリーンなデータでは高い精度を維持しながら、ノイズや低品質な入力に対してもロバスト性を向上させる、軽量で効率的な前処理ソリューションを開発すること。
• 動的ゲーティングメカニズムを用いて入力を適切な前処理エキスパートにルーティングすることで、エッジデバイスへの導入における計算およびメモリオーバーヘッドを最小限に抑えること。
• オブジェクト検出、複数オブジェクトトラッキング、人間のアクティビティ分類を含む、多様なタスクにおけるMoPEの有効性を実証すること。
• データ拡張や固定された前処理モジュールと比較して、クリーンデータおよびノイズのあるデータの両状況下でMoPEが優れた性能を示すことを示すこと。

提案手法

• 入力画像の分布（クリーン、ノイズあり、低解像度）を分類するゲーティングネットワークを訓練し、適切な前処理エキスパートにルーティングする。
• 3つの前処理エキスパートを用いる：アイデンティティ（クリーン／低解像度用）、平均フィルタリング（低解像度用）、スキップ接続付き敵対的訓練されたオートエンコーダー（ノイズあり画像用）。
• 敵対的訓練されたオートエンコーダーは、ノイズのある入力からクリーンな画像を再構成するように最適化され、構造的詳細を保持し、空間的な歪みを導入しないようにする。
• MoPEフレームワークは主なディープニューラルネットワーク（例：Faster R-CNN、Inception V2）の前段に統合され、前処理済み出力がバックボーンネットワークに供給される。
• ゲーティングネットワークは、入力品質に基づいたルーティング意思決定を最適化するため、クロスエントロピー損失を用いて主タスクネットワークとエンドツーエンドで訓練される。
• ゲーティングネットワークおよびノイズ除去オートエンコーダーに小型アーキテクチャを採用することで、エッジプラットフォームにおけるオーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 クリーンデータの精度を損なわせることなく、ノイズや低品質な入力下でのディーブラーニング性能を向上させる動的前処理パイプラインは可能か？
• RQ2 エッジデバイスにおけるメモリおよび計算オーバーヘッドを最小限に抑えるために、軽量なエキスパート混合をどのように設計できるか？
• RQ3 ノイズ下での検出および分類精度を保持する観点から、従来のフィルタリング手法と比較して、敵対的訓練されたオートエンコーダーを前処理エキスパートとして用いることで優れた性能が得られるか？
• RQ4 MoPEはオブジェクト検出、マルチオブジェクトトラッキング、人間のアクティビティ認識といった、多様なディーブラーニングタスクに一般化可能か？
• RQ5 エッジプラットフォームにMoPEを統合した際の実際のメモリおよび計算オーバーヘッドはどの程度か？

主な発見

• MS-COCO 2014データセットにおいて、MoPEはガウスノイズ（σ=0.15）下でIoU=0.5における平均平均精度（mAP）を0.531に達成し、ベースラインおよびデータ拡張モデルを上回った。
• MOT-Challengeにおける複数オブジェクトトラッキングでは、ノイズ除去エキスパートを搭載したMoPEが、クリーンおよびノイズありの両条件で、すべてのベースライン（データ拡張モデルを含む）を上回るMOTAスコアを達成した。
• UCF 101における人間のアクティビティ分類では、ノイズありデータ（σ=0.15）においてMoPEが0.531の精度を達成したのに対し、データ拡張モデルは0.492、ベースラインは0.157であった。
• MoPEモデルは、Faster R-CNNにInception V2を組み合わせたベースラインモデルに比べ、追加で0.67%のメモリおよび0.17%の計算オーバーヘッドしか追加しなかった。
• ゲーティングネットワークは入力を適切なエキスパートにルーティングすることができ、ノイズあり入力ではノイズ除去オートエンコーダーが選択され、クリーン／低解像度入力ではアイデンティティエキスパートが選択された。
• この手法は畳み込みネットワークおよび再帰型ネットワークの両方で一貫した性能向上を示し、多様なディーブラーニングタスクへの適用可能性を裏付けた。