[論文レビュー] Continual Learning in the Frequency Domain

Ruiqi Liu, Boyu Diao+4 more|arXiv (Cornell University)|Oct 9, 2024

Seismology and Earthquake Studies被引用数 5

ひとこと要約

CLFD は波形ベースの周波数領域エンコードとクラス認識特徴選択を用いてリハーサルベースの継続学習を改善し、精度を向上させ、エッジデバイス上のトレーニング効率を劇的に改善します。

ABSTRACT

Continual learning (CL) is designed to learn new tasks while preserving existing knowledge. Replaying samples from earlier tasks has proven to be an effective method to mitigate the forgetting of previously acquired knowledge. However, the current research on the training efficiency of rehearsal-based methods is insufficient, which limits the practical application of CL systems in resource-limited scenarios. The human visual system (HVS) exhibits varying sensitivities to different frequency components, enabling the efficient elimination of visually redundant information. Inspired by HVS, we propose a novel framework called Continual Learning in the Frequency Domain (CLFD). To our knowledge, this is the first study to utilize frequency domain features to enhance the performance and efficiency of CL training on edge devices. For the input features of the feature extractor, CLFD employs wavelet transform to map the original input image into the frequency domain, thereby effectively reducing the size of input feature maps. Regarding the output features of the feature extractor, CLFD selectively utilizes output features for distinct classes for classification, thereby balancing the reusability and interference of output features based on the frequency domain similarity of the classes across various tasks. Optimizing only the input and output features of the feature extractor allows for seamless integration of CLFD with various rehearsal-based methods. Extensive experiments conducted in both cloud and edge environments demonstrate that CLFD consistently improves the performance of state-of-the-art (SOTA) methods in both precision and training efficiency. Specifically, CLFD can increase the accuracy of the SOTA CL method by up to 6.83% and reduce the training time by 2.6$\times$.

研究の動機と目的

• 資源制約環境における継続学習（CL）を喚起し、忘却とともに訓練効率にも対処する。
• 入力を圧縮し、タスク間で特徴の再利用を管理する周波数領域フレームワークを提案する。
• 入力/出力特徴のみを最適化することで、既存のリハーサルベースCL法とシームレスに統合を可能にする。
• データ拡張を促進し、より多くのサンプルを格納・再生するためのメモリ使用量を削減する。

提案手法

• Frequency Domain Feature Encoder (FFE) において、離散ウェーブレット変換 (DWT) を用いて入力画像を周波数領域に変換する。
• FLOPsとメモリを削減するために入力特徴マップを圧縮し、固定バッファ内でより多くのリプレイサンプルを可能とする。
• クラス認識周波数領域特徴選択（CFFS）を適用して、周波数領域の類似度によってクラス間の特徴再利用と干渉のバランスを取る。
• 低周波成分を用いてクラス別の周波数領域特徴類似度を計算し、分類のための特徴を選択/トップマスクする。
• クロス・タスクの学習可能パラメータを導入せずに、タスク間で特徴選択を適応させるために Frequency Dropout と Semantic Dropout を用いる。
• コアなリハーサル機構はそのままに、入力および出力特徴処理のみを変更することで CLFD を既存のリハーサルベースCL法と統合する。

実験結果

リサーチクエスチョン

• RQ1 頻度領域表現は入力サイズを削減し、継続学習の情報をどのように保持できるか？
• RQ2 クラス認識の周波数領域特徴選択は、タスク間の干渉と忘却を減らせるか？
• RQ3 エッジデバイスで CLFD を標準のリハーサルベースCL法と組み合わせたときの効率向上（時間、メモリ、FLOPs）はどの程度か？
• RQ4 標準ベンチマークにおいて、CLFDは最先端のリハーサルベースCL法と比較して精度を維持または向上させるか？

主な発見

• CLFDは最先端のリハーサルベースCL法の精度を最大で6.83%向上させることができる。
• エッジデバイスでは、CLFDは最大で2.6倍の訓練速度向上と最大で3.0倍のピークメモリ削減をベンチマーク全体で達成する。
• DWT を使用することで、空間情報と周波数情報の両方を保持し、有効なデータ拡張と入力圧縮を可能にする。
• クラス認識周波数領域特徴選択は、タスク間干渉を減らし、意味的に類似したクラスの特徴を整合させる。
• 複数のベースライン（ER、DER++、ER-ACE、CLS-ER）と CLFD を統合すると、データセット全体で一貫した精度向上とメモリ削減が得られる。