[論文レビュー] Decomposing Convolutional Neural Networks into Reusable and Replaceable Modules

Rangeet Pan, Hridesh Rajan|arXiv (Cornell University)|Oct 11, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文では、畳み込みニューラルネットワーク（CNN）を、各出力クラスごとに特化したモジュールに分解することを提案している。各モジュールは単一の出力クラスに対するバイナリ分類器として機能し、再訓練なしに再利用・交換が可能になる。この手法は、再訓練から始めた場合と比較して、トップ1精度がわずか1.77%低下するのみで、CO₂e排出量を最大37倍まで削減できる。これにより、効率的で持続可能なモデルの適合が可能になる。

ABSTRACT

Training from scratch is the most common way to build a Convolutional Neural Network (CNN) based model. What if we can build new CNN models by reusing parts from previously build CNN models? What if we can improve a CNN model by replacing (possibly faulty) parts with other parts? In both cases, instead of training, can we identify the part responsible for each output class (module) in the model(s) and reuse or replace only the desired output classes to build a model? Prior work has proposed decomposing dense-based networks into modules (one for each output class) to enable reusability and replaceability in various scenarios. However, this work is limited to the dense layers and based on the one-to-one relationship between the nodes in consecutive layers. Due to the shared architecture in the CNN model, prior work cannot be adapted directly. In this paper, we propose to decompose a CNN model used for image classification problems into modules for each output class. These modules can further be reused or replaced to build a new model. We have evaluated our approach with CIFAR-10, CIFAR-100, and ImageNet tiny datasets with three variations of ResNet models and found that enabling decomposition comes with a small cost (1.77% and 0.85% for top-1 and top-5 accuracy, respectively). Also, building a model by reusing or replacing modules can be done with a 2.3% and 0.5% average loss of accuracy. Furthermore, reusing and replacing these modules reduces CO2e emission by ~37 times compared to training the model from scratch.

研究の動機と目的

• 新しいタスクや故障したコンponentに対し、再訓練から始めることによる高い計算コストと環境負荷を軽減すること。
• 従来、全結合層に限られていたモジュラリティを、畳み込み層にも適用するため、出力クラスに特化したコンponentsを同定すること。
• 全再訓練なしに、エラーの修正やモデルの適合を可能にするために、個々のモジュールの再利用・交換を可能にすること。
• モジュールの構成による再訓練の冗長性を最小限に抑えることで、ディープラーニングに伴う炭素排出量を削減すること。
• コンピュータビジョンの応用分野において、持続可能で段階的なモデル進化のフレームワークを提供すること。

提案手法

• 画像分類用のCNNを訓練し、各出力クラスごとに責任をもつバイナリ分類器として機能するモジュールに分解する。
• データ駆動型のアプローチを用いて、ネットワーク全体にわたる各出力クラス固有の活性化パターンとパラメータ寄与度を同定する。
• 同じ入力サイズを受け取り、関連する特徴マップと重みを使用して、そのクラスが存在するか（あり／なし）を出力するサブネットワークとして各モジュールを構築する。
• 入力次元と特徴階層をモジュール間で整合させることで、類似した入力仕様を持つモデル間での再利用を可能にする。
• 新しいアーキテクチャに統合することで、モジュールを新しいモデルに組み込み、元のモデルの構造と推論パイプラインを保持する。
• 電力監視ツール（例：Intel Power Gadget）を用いてCO₂e排出量を測定し、分解に基づく再利用／交換と完全な再訓練を比較する。

実験結果

リサーチクエスチョン

• RQ1 共有された畳み込み重みを持つCNNが、出力クラスごとに再利用可能かつ交換可能なモジュールに効果的に分解可能かどうか。
• RQ2 元のモデルと比較して、訓練済みCNNをクラス固有のモジュールに分解した場合の精度損失はどの程度か。
• RQ3 再訓練なしにモジュールの再利用・交換を実施することで、モデル性能の向上や故障した挙動の是正にどの程度寄与できるか。
• RQ4 再訓練から始めず、モジュールの再利用・交換を行うことで、CO₂e排出量をどの程度削減できるか。
• RQ5 異なるデータセットやモデルアーキテクチャに応用する際の、モジュール再利用・交換の実用的トレードオフと制限要因は何か。

主な発見

• 分解による精度損失は最小限：CIFAR-10、CIFAR-100、ImageNet Tinyでトップ1精度が1.77%低下、トップ5精度が0.85%低下。
• モジュールの再利用・交換では平均でトップ1精度が2.3%低下、トップ5精度が0.5%低下し、高い汎用性が示された。
• 再訓練から始めず、モジュールを再利用・交換することで、CO₂e排出量を最大37倍まで削減できた。
• 一度限りの分解オーバーヘッドによるCO₂e排出量は、CIFAR-10で116 lbs、CIFAR-100で371 lbs、ImageNet-200で3,800 lbsであり、再訓練に比べて無視できる程度であった。
• 交換シナリオでは、再訓練から始めた場合と比較してCO₂e排出量を42倍（最良モデル）および31.5倍（固定エポック）まで削減できた。
• 故障した分類（例：誤ったゴリラ分類器）を、修正済みのものに交換するなど、全モデルの再訓練なしに実用的な解決策を提供できた。