[論文レビュー] The Larger The Fairer? Small Neural Networks Can Achieve Fairness for Edge Devices

Yi Sheng, Junhuan Yang+6 more|arXiv (Cornell University)|Feb 23, 2022

Cutaneous Melanoma Detection and Management被引用数 5

ひとこと要約

この論文では、エッジデバイス向けに小規模で正確かつ公平なニューラルネットワークを自動で発見する、公平性およびハードウェアに配慮したニューラルアーキテクチャ探索フレームワークFaHaNaを提案する。強化学習に基づくNASに公平性を統合し、新しい重み固定技術を用いることで、MobileNetV2と比較して15.14%高い公平性、5.28倍小さいモデルサイズ、Raspberry Pi上で5.75倍の高速化を達成しながら、精度を維持または向上させた。

ABSTRACT

Along with the progress of AI democratization, neural networks are being deployed more frequently in edge devices for a wide range of applications. Fairness concerns gradually emerge in many applications, such as face recognition and mobile medical. One fundamental question arises: what will be the fairest neural architecture for edge devices? By examining the existing neural networks, we observe that larger networks typically are fairer. But, edge devices call for smaller neural architectures to meet hardware specifications. To address this challenge, this work proposes a novel Fairness- and Hardware-aware Neural architecture search framework, namely FaHaNa. Coupled with a model freezing approach, FaHaNa can efficiently search for neural networks with balanced fairness and accuracy, while guaranteed to meet hardware specifications. Results show that FaHaNa can identify a series of neural networks with higher fairness and accuracy on a dermatology dataset. Target edge devices, FaHaNa finds a neural architecture with slightly higher accuracy, 5.28x smaller size, 15.14% higher fairness score, compared with MobileNetV2; meanwhile, on Raspberry PI and Odroid XU-4, it achieves 5.75x and 5.79x speedup.

研究の動機と目的

• リソース制約のあるエッジデバイスに配置された小規模ニューラルネットワークにおける公平性を達成する課題に対処すること。
• ハードウェア制約を損なわず、高い精度、低遅延、高い公平性を両立するニューラルアーキテクチャを特定すること。
• 既存のNAS手法ではしばしば無視される公平性を明示的に最適化する、自動化されたNASフレームワークの開発。
• 重み固定の新技術を用いることで、探索空間とトレーニング時間を削減しながら公平性を保持する、NASプロセスの高速化。

提案手法

• FaHaNaは、ターゲットエッジプラットフォーム上で精度、公平性、ハードウェア効率（遅延）を同時に最適化する強化学習ベースのNASフレームワークを採用する。
• 精度、公平性（不平等スコアで測定）、遅延をバランスさせるカスタム報酬関数を導入し、アーキテクチャ探索をガイドする。
• ネットワークの先頭（ヘッド）層に共通の特徴を抽出する役割を担わせるために、事前学習済みパラメータを用いて重みを固定する、新しい重み固定手法を提案する。
• アーキテクチャ探索を、公平性に最も感受性が高いとされる末尾層に限定することで、公平性最適化アーキテクチャの効率的探索を可能にする。
• ブロックレベルの柔軟性を活用し、初期層では効率性を重視したMBブロック、後続層では公平性を重視したCB/RBブロックを用いることで、より良いトレードオフを実現する。
• FaHaNaはデータバランス技術と互換性があり、再訓練を始めから行わずに、さらなる公平性の向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 リソース制約のあるエッジデバイス上では、大規模モデルがより公平であるという傾向があるにもかかわらず、小規模ニューラルネットワークが高水準の公平性を達成できるか？
• RQ2 全体の精度やハードウェア効率を低下させることなく、ニューラルアーキテクチャ探索に公平性を効果的に統合する方法は何か？
• RQ3 エッジAIモデルにおいて、モデルサイズ、推論速度、公平性のバランスを取るためのアーキテクチャパターンは何か？
• RQ4 最終アーキテクチャの公平性や精度に影響を与えることなく、ファージング戦略がNASを高速化できるか？
• RQ5 実際のエッジハードウェア上で、MobileNetV2 や ResNet-50 といった既存モデルと比較して、FaHaNa は公平性、精度、遅延の点でどのように差をつけるか？

主な発見

• FaHaNaは、MobileNetV2（ベースラインで最高の公平性を示したモデル）と比較して、5.28倍小さいモデルサイズ、15.14%高い公平性、Raspberry Pi上で5.75倍速い推論速度を達成するアーキテクチャを発見した。
• Odroid XU-4では、MobileNetV2と比較して5.79倍の高速化を達成しながら、より高い公平性と精度を維持した。
• FaHaNa-Smallは81.28%の精度と0.1973の不平等スコアを達成し、MobileNetV2（81.05%の精度、0.2325の不平等スコア）をわずかな精度の妥協で上回った。
• データバランス処理後、FaHaNa-Fairは0.1365の不平等スコアを達成し、ベースラインから0.0608の改善を示したが、ResNet-50と比較して4.27倍小さいモデルサイズであった。
• FaHaNa-Netsのパレートフロンティアは、大多数の既存モデルを上回っており、FaHaNa-Smallは精度-不平等スコアのトレードオフにおいて、MobileNetV2を除くすべての競合モデルを上回った。
• ファージング手法により、トレーニングパラメータ数と探索時間の両方が顕著に削減され、最終アーキテクチャの公平性や精度に影響を与えることなくNASを高速化できた。