[論文レビュー] End-to-End Facial Deep Learning Feature Compression with Teacher-Student Enhancement

Shurun Wang, Wenhan Yang+1 more|arXiv (Cornell University)|Feb 10, 2020

Speech and Audio Processing参考文献 22被引用数 7

ひとこと要約

本稿では、顔認識の特徴表現におけるレート・精度のトレードオフを改善するために、潜在コードレベルでの教師-生徒強化機構を用いたエンドツーエンドの深層特徴圧縮フレームワークを提案する。低ビットレートと高ビットレートのシナリオそれぞれに別々のエンコーダ/デコーダを訓練し、低ビットレートのコードを生徒ネットワークによって強化することで、PQ や OPQ、DHN などの従来手法を上回る性能を達成した。LFW データセット上で PRO-E モデルを用いた場合、2.61 bpp で 99.30% の精度を達成した。

ABSTRACT

In this paper, we propose a novel end-to-end feature compression scheme by leveraging the representation and learning capability of deep neural networks, towards intelligent front-end equipped analysis with promising accuracy and efficiency. In particular, the extracted features are compactly coded in an end-to-end manner by optimizing the rate-distortion cost to achieve feature-in-feature representation. In order to further improve the compression performance, we present a latent code level teacher-student enhancement model, which could efficiently transfer the low bit-rate representation into a high bit rate one. Such a strategy further allows us to adaptively shift the representation cost to decoding computations, leading to more flexible feature compression with enhanced decoding capability. We verify the effectiveness of the proposed model with the facial feature, and experimental results reveal better compression performance in terms of rate-accuracy compared with existing models.

研究の動機と目的

• 機械視覚応用のための深層学習顔特徴の効率的かつコンパクトな表現の課題に対処すること。
• 製品量子化や深層ハッシングなどの従来手法を超えて、エンドツーエンドの深層ニューラルネットワークを活用して圧縮効率を向上させること。
• 潜在コード強化による符号化から復号への表現コストの適応的シフトにより、柔軟な特徴復号を可能にすること。
• 最先端の特徴圧縮技術と比較して、顔認証ベンチマークで優れたレート・精度性能を示すこと。

提案手法

• レート-歪みのトレードオフを最適化するために、低ビットレートおよび高ビットレート用に別々に訓練されたエンコーダとデコーダを備えたエンドツーエンドのオートエンコーダアーキテクチャを採用する。
• 生の 128D FaceNet 特徴からコンパクトなビットストリームを生成するために、スカラー量子化（SQ）に続いてエントロピー符号化を適用する。
• 生徒ネットワークが低ビットレートのコードを高精度な表現に強化する潜在コードレベルの教師-生徒強化モジュールを導入する。
• 再構成精度を向上させるために、元の特徴と強化後の特徴の間の平均二乗誤差（MSE）損失を用いて強化ネットワークを訓練する。
• 異なるビットレートに対応するモデルの学習のために、λ の値を 1×10⁻⁴ から 1×10⁻⁷ の範囲で変化させた適応的勾配最適化（Adam）を適用する。
• 最適化の安定化と一般化性能の向上のため、訓練中にクリッピングとノイズ増幅を適用する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層学習ベースの特徴圧縮は、PQ や OPQ、DBH のような古典的手法よりも、顔特徴のレート・精度トレードオフにおいて優れた性能を示せるか？
• RQ2 ビットレートを増加させずに、潜在コードレベルの知識蒸留（教師-生徒強化）は再構成品質をどの程度向上させるか？
• RQ3 提案されたフレームワークは、異なるビットレートにおいて符号化の複雑さと復号の能力のバランスをどのようにとるか？
• RQ4 提案手法は、ビットストリームサイズを顕著に削減しながらも、元のモデルに近い性能（99.32% の精度）を達成できるか？
• RQ5 強化モジュールは、高ビットレートの復号能力を活用することで、低ビットレートでの性能を向上させることができるか？

主な発見

• 提案された PRO-E モデルは、2.61 ビット/ピクセル（bpp）で 99.30% の顔認証精度を達成し、元の FaceNet モデル（フル精度時で 99.32%）およびすべてのベースラインを上回った。
• 2.61 bpp において、PRO-E は強化なしの PRO（99.27%）と比較して 0.03% の向上を示し、潜在コード強化による効果を裏付けた。
• SQ-E モデルはスカラー量子化（SQ）を上回り、0.81 bpp で 98.63% の精度を達成したのに対し、SQ のみでは 98.48% にとどまった。
• PRO モデルは 2.61 bpp で 99.30% の精度を達成し、PQ（4.00 bpp 時に 98.43%）、OPQ（4.00 bpp 時に 99.25%）、DHN（2.00 bpp 時に 98.70%）を上回った。
• AUC および EER の曲線（図 4 および 図 5）は、全ビットレート範囲で PRO-E に一貫した性能向上が見られ、強化機構の頑健性を確認した。
• 本手法により、高複雑度の復号と高ビットレート表現の間での適応的スイッチングが可能となり、リアルタイムの機械視覚システムにおける柔軟性が向上した。