[論文レビュー] Genetic Programming and Gradient Descent: A Memetic Approach to Binary Image Classification

Benjamin Patrick Evans, Harith Al-Sahaf+2 more|arXiv (Cornell University)|Sep 28, 2019

Evolutionary Algorithms and Applications参考文献 18被引用数 7

ひとこと要約

本稿では、遺伝的プログラミング（GP）と勾配降下法を組み合わせた記憶的アプローチを提案し、二値画像分類の性能を向上させることを目的としている。GPの進化的プロセスに局所探索として勾配降下法を統合することで、より小型で解釈可能なモデルを実現し、推論速度も向上させた。ただし、テスト精度はベースラインGPと同等に保たれたことから、モデルのコンactさと効率性の向上が顕著に見られた。

ABSTRACT

Image classification is an essential task in computer vision, which aims to categorise a set of images into different groups based on some visual criteria. Existing methods, such as convolutional neural networks, have been successfully utilised to perform image classification. However, such methods often require human intervention to design a model. Furthermore, such models are difficult to interpret and it is challenging to analyse the patterns of different classes. This paper presents a hybrid (memetic) approach combining genetic programming (GP) and Gradient-based optimisation for image classification to overcome the limitations mentioned. The performance of the proposed method is compared to a baseline version (without local search) on four binary classification image datasets to provide an insight into the usefulness of local search mechanisms for enhancing the performance of GP.

研究の動機と目的

• 画像分類におけるディープラーニングモデルの限界、特に解釈性の低さと手動で設計されたアーキテクチャへの依存を是正すること。
• 画像分類における標準的GPの欠点、例えばモデルサイズの大きさや微調整能力の欠如を克服すること。
• 局所探索として勾配降下法を統合することで、GPベースの画像分類性能およびモデル特性が向上するかどうかを調査すること。
• 自動的にコンパクトで人間が読みやすい画像分類パイプラインを進化させることで、モデルの解釈性と効率性を向上させること。
• ハイブリッド進化的・勾配降下アプローチにおける、学習時間、モデルサイズ、推論速度のトレードオフを評価すること。

提案手法

• 個体が畳み込み、プーリング、活性化関数を組み合わせた木構造のプログラムである遺伝的プログラミングを用いて、画像分類パイプラインを進化させる。
• 各GP世代の後続に、畳み込みフィルターや活性化パラメータの重みを微調整するための局所探索フェーズを導入する。
• 畳み込み層の勾配をバックプロパゲーションで計算し、分類損失を最小化するようにフィルタ重みを更新する。
• 最終出力にシグモイド活性化関数を適用して、二値分類確率（0または1）にマップする。
• 個体ごとに固定回数のエポックを設定して局所探索を実施し、学習率をハイパーパrameterとして設定する。
• 検証セットにおける分類精度に基づいて適応度を評価し、局所探索中は過学習を防ぐために早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 局所探索として勾配降下法を統合することで、標準的GPと比較してGPベースの画像分類器の分類精度が向上するか？
• RQ2 局所探索の導入が、画像分類タスクにおける進化したGP木のサイズと複雑さに与える影響は何か？
• RQ3 ハイブリッドGP-勾配降下アプローチは、標準的GPや従来のCNNと比較して、より解釈可能で効率的なモデルを生成できるか？
• RQ4 GPベースの画像分類の文脈において、局所探索が推論速度と学習時間に与える影響は何か？
• RQ5 局所探索はモデルの一般化性能をどの程度向上させるか。また、適応的学習率戦略を用いることでさらなる性能向上が可能か？

主な発見

• 提案された記憶的アプローチは、ベースラインGP手法と同等のテスト精度を達成したが、分類性能に統計的に有意な向上は認められなかった。
• 精度に変化がなくても、JAFFEやCMU Facesを含むすべてのデータセットで、平均的な木サイズが顕著に小さくなった。これは、よりコンパクトなモデルが得られたことを示している。
• 単純さを明示的に選択圧力として設けなくても、木サイズの縮小が観察された。これは、勾配降下法が自然にモデル圧縮を促進している可能性を示唆している。
• 局所探索によるモデル複雑度の低減のおかげで、多くのケースで推論時間が短縮された。ただし、局所探索の影響で学習時間は延長された。
• 進化したモデルは高い解釈性を示し、Handsデータセットの例では、高コントラストフィルタリングと最小プーリングにより指領域が明確に特定された。
• 局所探索はモデルの解釈性を損なわず、むしろより単純で効率的なモデルを生み出した。これは、ハイブリッド進化的・勾配降下アプローチの利点を強力に示している。