[論文レビュー] GBCNs: Genetic Binary Convolutional Networks for Enhancing the Performance of 1-bit DCNNs

Chunlei Liu, Wenrui Ding+4 more|arXiv (Cornell University)|Nov 25, 2019

Advanced Neural Network Applications参考文献 17被引用数 4

ひとこと要約

本稿では、局所的極小値のリスクを低減し、表現能力を向上させるために、バランス型遺伝的アルゴリズム（BGA）を用いた、1ビットの深層畳み込みニューラルネットワーク（DCNN）を強化するエンドツーエンドの新規フレームワーク、遺伝的バイナリ畳み込みネットワーク（GBCNs）を提案する。この手法は、オブジェクト分類および再識別タスクにおける精度を顕著に向上させ、CIFAR、ImageNet、顔認識、人物再識別を含む複数のタスクで有効である。

ABSTRACT

Training 1-bit deep convolutional neural networks (DCNNs) is one of the most challenging problems in computer vision, because it is much easier to get trapped into local minima than conventional DCNNs. The reason lies in that the binarized kernels and activations of 1-bit DCNNs cause a significant accuracy loss and training inefficiency. To address this problem, we propose Genetic Binary Convolutional Networks (GBCNs) to optimize 1-bit DCNNs, by introducing a new balanced Genetic Algorithm (BGA) to improve the representational ability in an end-to-end framework. The BGA method is proposed to modify the binary process of GBCNs to alleviate the local minima problem, which can significantly improve the performance of 1-bit DCNNs. We develop a new BGA module that is generic and flexible, and can be easily incorporated into existing DCNNs, such asWideResNets and ResNets. Extensive experiments on the object classification tasks (CIFAR, ImageNet) validate the effectiveness of the proposed method. To highlight, our method shows strong generalization on the object recognition task, i.e., face recognition, facial and person re-identification.

研究の動機と目的

• バイナリ化されたカーネルと活性化による1ビットDCNNにおける顕著な精度低下と学習非効率性を是正すること。
• 1ビットDCNNの学習中に局所的極小値に陥るリスクを低減すること。
• 新たな最適化戦略を通じて1ビットDCNNの表現能力を向上させること。
• WideResNets や ResNets などの既存アーキテクチャに容易に統合可能な汎用的で柔軟なモジュールを開発すること。
• 提案手法の一般化性能を、顔認識や人物再識別を含む多様なオブジェクト認識タスクで検証すること。

提案手法

• 1ビットDCNNにおけるバイナリ重みおよび活性化プロセスを最適化するためのバランス型遺伝的アルゴリズム（BGA）を導入し、局所的極小値への感受性を低減する。
• 汎用的でモジュラーなBGAモジュールを提案し、WideResNets や ResNets などの既存のディープラーニングアーキテクチャへのシームレスな統合を可能にする。
• BGAを用いて学習中にバイナリパラメータを動的に調整し、解空間の探索能力を向上させる。
• BGAモジュールをネットワーク重みと同時に最適化するエンドツーエンドの学習フレームワークを設計し、バイナリ制約を維持しながら性能を向上させる。
• 選択、交差、変異といった遺伝的操作を用いて、バックプロパゲーション中により優れたバイナリ設定を進化させる。
• 推論中にバイナリ制約を維持しつつ、BGAプロセスにおける微分可能リラクゼーションにより勾配伝播を可能にする。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムに基づく最適化戦略は、1ビットDCNN学習における局所的極小値のリスクを効果的に低減できるか？
• RQ2 バランス型遺伝的アルゴリズム（BGA）は、モデルの複雑さを増さずに1ビットDCNNの表現能力をどの程度向上できるか？
• RQ3 提案されたGBCNフレームワークは、画像分類および再識別を含む多様なコンピュータビジョンタスクにどのように一般化するか？
• RQ4 BGAモジュールは、ResNets や WideResNets といった標準的なディープラーニングアーキテクチャに効果的かつ効率的に統合可能か？
• RQ5 GBCNは、CIFAR や ImageNet といったベンチマークデータセットにおいて、既存の1ビットDCNN手法と比較してどの程度の性能向上を達成するか？

主な発見

• 提案されたGBCNフレームワークは、局所的極小値の問題を軽減することで、CIFAR-10 および CIFAR-100 ベンチマークにおける1ビットDCNNの精度を顕著に向上させる。
• GBCNsはImageNetでも優れた性能を示し、大規模画像分類タスクにおける本手法のスケーラビリティと有効性を裏付けている。
• 顔認識および人物再識別タスクにおいても、本手法は頑健な一般化性能を示しており、標準的な分類タスクを超えた応用可能性を示している。
• BGAモジュールはアーキテクチャの変更なしにモデル性能を向上させ、既存のDCNNに即座に統合可能なプラグアンドプレイ型の強化手段であることを実証している。
• 広範なアブレーションスタディにより、BGAに基づく最適化戦略が、標準的なバイナリ化手法と比較してより安定的かつ正確な1ビットネットワークの学習を実現することが確認された。