[論文レビュー] Towards Practical Lipreading with Distilled and Efficient Models

Pingchuan Ma, Brais Martínez+2 more|arXiv (Cornell University)|Jul 13, 2020

Multimodal Machine Learning Applications参考文献 39被引用数 5

ひとこと要約

本稿では、新たなDepthwise Separable Temporal Convolutional Network (DS-TCN)を組み合わせた知識蒸留フレームワークを提案し、効率的で高性能なリップリーディングモデルの構築を実現する。段階的に簡素化された教師モデルからの逐次的蒸留を用いることで、先行SOTAモデルと比較してFLOPsを8.2倍、パラメータ数を3.9倍削減しながら、LRW（88.5%）およびLRW-1000（46.6%）で最先端の精度を達成した。

ABSTRACT

Lipreading has witnessed a lot of progress due to the resurgence of neural networks. Recent works have placed emphasis on aspects such as improving performance by finding the optimal architecture or improving generalization. However, there is still a significant gap between the current methodologies and the requirements for an effective deployment of lipreading in practical scenarios. In this work, we propose a series of innovations that significantly bridge that gap: first, we raise the state-of-the-art performance by a wide margin on LRW and LRW-1000 to 88.5% and 46.6%, respectively using self-distillation. Secondly, we propose a series of architectural changes, including a novel Depthwise Separable Temporal Convolutional Network (DS-TCN) head, that slashes the computational cost to a fraction of the (already quite efficient) original model. Thirdly, we show that knowledge distillation is a very effective tool for recovering performance of the lightweight models. This results in a range of models with different accuracy-efficiency trade-offs. However, our most promising lightweight models are on par with the current state-of-the-art while showing a reduction of 8.2x and 3.9x in terms of computational cost and number of parameters, respectively, which we hope will enable the deployment of lipreading models in practical applications.

研究の動機と目的

• 高性能なリップリーディングモデルと実用的導入の間のギャップを埋めるために、計算コストを低減すること。
• 精度を犠牲にすることなく、知識蒸留により軽量モデルの性能を向上させること。
• 時間的モデリングにおけるFLOPsとパラメータ数を削減するための新規で効率的なヘッドアーキテクチャ（DS-TCN）を設計すること。
• 完全なアーキテクチャを持つ教師モデルを用いた標準的蒸留と比較して、中程度の容量を持つ教師モデルからの逐次的蒸留が、なぜ優れているかを示すこと。
• 効率的なモデル圧縮を用いて、リソース制約のあるデバイス上での正確なリップリーディングシステムの導入を可能にすること。

提案手法

• 自己蒸留を適用して、LRWおよびLRW-1000における性能を向上させ、新たなSOTA精度を達成した。
• 標準的な畳み込みを深度可分畳み込みに置き換えることで、FLOPsとパラメータ数を削減するDepthwise Separable Temporal Convolutional Network (DS-TCN)を提案した。
• ResNet-18バックボーンを、幅乗数βを用いたShuffleNet v2に置き換えることで、さらにモデルサイズと計算量を削減した。
• 各段階の教師モデルが直前の学生モデルの簡素化版である、教師-学生モデルの連鎖を用いた逐次的蒸留戦略を実装した。
• アーキテクチャ的ギャップを埋めるために、中程度の容量を持つモデルを教師として使用し、知識伝達の効率を向上させた。
• 空間的特徴抽出には3D畳み込みを、時間的モデリングにはMS-TCNまたはDS-TCNヘッドを用いて、LRWおよびLRW-1000データセット上でモデルを学習した。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留を用いることで、計算コストを増加させずに、軽量リップリーディングモデルの精度を顕著に向上させることができるか？
• RQ2 単一の高容量教師モデルを用いた標準的蒸留と比較して、中程度の容量を持つ教師モデルを用いた逐次的蒸留は、どの程度効果的か？
• RQ3 深さ可分畳み込みに基づく時間的ネットワーク（DS-TCN）は、性能を維持しつつ、どの程度FLOPsとパラメータ数を削減できるか？
• RQ4 幅乗数βを用いた効率的なバックボーン（例：ShuffleNet v2）をDS-TCNと効果的に組み合わせることで、低インフェレンスコストで高精度を達成できるか？
• RQ5 知識蒸留を適用した軽量リップリーディングモデルにおいて、モデル効率（FLOPs、パラメータ数）と精度のトレードオフはどのようなものか？

主な発見

• 提案モデルは、計算コストを増加させずに、LRWで88.5%のトップ-1精度を達成し、新たな最先端水準を記録した。
• LRW-1000では46.6%の精度に到達し、これも新たなSOTAを記録しており、顕著な性能向上を示した。
• 最も効率的なモデル（ShuffleNet v2 0.5× + DS-TCN）は、LRWで79.9%の精度を達成し、FLOPsは0.58G、パラメータ数は290万で、先行SOTAと比較して17.8倍と12.5倍も少ない。
• ShuffleNet v2（1×）+ DS-TCNを用いたモデルは、蒸留後、LRWで40.4%の精度を達成し、先行SOTAと同等の精度を維持しながら、FLOPsを8.2倍、パラメータ数を3.9倍削減した。
• 中程度容量の教師モデルからの逐次的蒸留は、標準的蒸留よりも性能が優れており、特に軽量モデルにおいて顕著な向上を示した。
• LRW-1000において、最良の軽量モデル（ShuffleNet v2 0.5× + DS-TCN）は、22.9倍少ないパラメータ数と18.8倍少ないFLOPsで40.2%の精度を達成した。