[論文レビュー] Continual Learning in Human Activity Recognition: an Empirical Analysis of Regularization

Saurav Jha, Martin Schiemer+1 more|arXiv (Cornell University)|Jul 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 11

ひとこと要約

この論文は、センサーに基づく行動認識（HAR）データセットにおいて、正則化に基づく continual learning 法（LwF, EWC, MAS, LUCIR, ILOS）を評価し、ほとんどの正則化項がメモリリプレイと組み合わせるとほとんど利益がなく、場合によっては性能を損なうことが判明した。主な貢献は、データセットの不均衡、クラス間の類似性、リソース制約のため、HARではメモリリプレイが性能を支配しており、正則化が無効になることを示したことである。

ABSTRACT

Given the growing trend of continual learning techniques for deep neural networks focusing on the domain of computer vision, there is a need to identify which of these generalizes well to other tasks such as human activity recognition (HAR). As recent methods have mostly been composed of loss regularization terms and memory replay, we provide a constituent-wise analysis of some prominent task-incremental learning techniques employing these on HAR datasets. We find that most regularization approaches lack substantial effect and provide an intuition of when they fail. Thus, we make the case that the development of continual learning algorithms should be motivated by rather diverse task domains.

研究の動機と目的

• コンピュータビジョンとは異なる分野である行動認識（HAR）における、正則化に基づく continual learning テクニックの有効性を評価すること。
• クラスの不均衡やセンサーデータの多様性といったHAR固有の課題を踏まえ、画像分類で開発された正則化手法がHARに一般化可能かどうかを調査すること。
• 制限された計算リソースを伴うHARシナリオにおける、正則化とメモリリプレイの相互作用を評価すること。
• 特にメモリリプレイと組み合わせた場合に、正則化手法がなぜ失敗するのかを特定すること。
• コンピュータビジョンにとどまらない、HARのような多様で現実世界の分野を対象とした、より広範な continual learning の研究を提唱すること。

提案手法

• 本研究では、5つの正則化手法を評価する：LwF（知識蒸留）、EWC（フィッシャー情報によるパラメータ重要度）、RWC（回転させたEWC）、MAS（勾配に基づくパラメータ重要度）、LUCIR（マージン順序付けと蒸留損失）、ILOS（クロス蒸留損失）。
• 実験は2つの公開HARデータセット（WS：環境センサー、9つの不均衡な行動、DSADS：加速度計ベース、19のバランスの取れた行動）を用いて実施される。
• 各手法の性能は、メモリリプレイ（MemR）の有無にかかわらず、F1スコア（マイクロ／マクロ）、忘却スコア（F）、およびベースクラス、旧クラス、新クラスごとの正答率で評価される。
• 性能のベンチマークとして、下限（交差エントロピー損失のみ）と上限（すべてのタスクをオフラインで学習）が用いられる。
• メモリリプレイのホールドアウトサイズを変化させ（S ∈ {2,4,6,8,10,15}）、メモリ容量の性能への影響を評価する。
• 分析は、柔軟性と安定性のトレードオフ、マイクロF1とマクロF1の乖離、およびクラス不均衡が正則化効果に与える影響に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンで開発された正則化に基づく continual learning 手法は、HARデータセットに対しても効果的に一般化できるか？
• RQ2 メモリリプレイの導入が、HARにおける正則化項の性能と相対的寄与度にどのように影響するか？
• RQ3 ILOS や LUCIR といった一部の正則化手法は、旧クラスでは強い性能を示すが、新クラスではなぜ性能が低いのか？
• RQ4 HARにおけるデータセットの不均衡性とクラス間類似性が、正則化の有効性をどの程度損なうか？
• RQ5 正則化手法の性能は、データセットの特性に依存するのか、それとも利用可能なメモリ容量に依存するのか？

主な発見

• 特に ILOS や LUCIR といった大多数の正則化手法は、メモリリプレイと組み合わせた場合、単なる交差エントロピー損失と比べてほとんど向上せず、場合によっては性能が悪化する。
• メモリリプレイは一貫して正則化を上回る性能を示し、わずかなリプレイサイズ（S=2）でも顕著な性能向上が得られるため、リプレイが正則化効果を上書きしていることが示唆される。
• ILOS は、メモリリプレイと組み合わせた際、全手法の中で最も高い忘却スコアを示しており、その制限的な損失定式化が新タスクの学習に悪影響を与えている可能性がある。
• LUCIR-MR と LUCIR-DIS+MR は、忘却スコアが低く、旧クラスの安定性が向上しており、マージン順序付けが記憶保持性を高めるが、新クラスの柔軟性を犠牲にしていることが示された。
• 正則化手法ではマイクロF1とマクロF1の乖離が最も顕著で、これは正則化がクラスのパフォーマンスをバランスさせるのに役立っていることを示唆するが、メモリリプレイと組み合わせるとこの利点が薄れる。
• 正則化手法の性能は、特にクラス不均衡の度合いに強く依存しており、メモリ容量よりもデータセット特性に依存していることが、WS（不均衡）と DSADS（バランス）の間で一貫性のない挙動から明らかになった。