[논문 리뷰] Genetic Programming and Gradient Descent: A Memetic Approach to Binary Image Classification

Benjamin Patrick Evans, Harith Al-Sahaf외 2명|arXiv (Cornell University)|2019. 09. 28.

Evolutionary Algorithms and Applications참고 문헌 18인용 수 7

한 줄 요약

이 논문은 유전적 프로그래밍(GP)과 경사 하강법을 조합한 멤티즘 접근법을 제안하여 이진 이미지 분류 성능을 향상시킨다. GP의 진화 과정에 국소 탐색을 위한 경사 하강법을 통합함으로써 더 작고 해석 가능한 모델을 얻을 수 있었으며, 추론 속도가 빨라졌다. 비록 테스트 정확도는 기준 GP와 유사했지만, 모델의 작고 효율적인 특성 향상이 두드러졌다.

ABSTRACT

Image classification is an essential task in computer vision, which aims to categorise a set of images into different groups based on some visual criteria. Existing methods, such as convolutional neural networks, have been successfully utilised to perform image classification. However, such methods often require human intervention to design a model. Furthermore, such models are difficult to interpret and it is challenging to analyse the patterns of different classes. This paper presents a hybrid (memetic) approach combining genetic programming (GP) and Gradient-based optimisation for image classification to overcome the limitations mentioned. The performance of the proposed method is compared to a baseline version (without local search) on four binary classification image datasets to provide an insight into the usefulness of local search mechanisms for enhancing the performance of GP.

연구 동기 및 목표

• 딥 러닝 모델이 이미지 분류에서 낮은 해석 가능성과 수작업으로 설계된 아키텍처에 의존하는 등의 한계를 해결하기 위해.
• 표준 유전적 프로그래밍이 이미지 분류에서 겪는 단점—예를 들어 큰 모델 크기와 정밀 조정 기능 부족—을 극복하기 위해.
• 경사 하강법을 국소 탐색 기법으로 통합함으로써 GP 기반 이미지 분류 성능과 모델 특성 향상 여부를 조사하기 위해.
• 자동으로 작고 인간이 이해할 수 있는 이미지 분류 파이프라인을 진화시켜 모델의 해석 가능성과 효율성을 향상시키기 위해.
• 하이브리드 진화-경사 하강 접근법에서 학습 시간, 모델 크기, 추론 속도 간의 상호 상충 관계를 평가하기 위해.

제안 방법

• 유전적 프로그래밍을 사용해 이미지 분류 파이프라인을 진화시키며, 개체는 컨볼루션, 풀링, 활성화 연산을 조합한 트리 구조 프로그램이다.
• 각 GP 세대 이후 국소 탐색 단계를 도입하여, 컨볼루션 필터 및 활성화 파라미터의 가중치를 미세 조정한다.
• 역전파를 사용해 컨볼루션 레이어의 기울기를 계산하고, 분류 손실을 최소화하도록 필터 가중치를 갱신한다.
• 최종 출력에 시그모이드 활성화 함수를 적용하여 이진 클래스 확률(0 또는 1)로 매핑한다.
• 각 개체당 고정된 에포크 수 동안 국소 탐색을 수행하여 모델을 정밀 조정하며, 학습률은 하이퍼파라미터로 설정한다.
• 검증 세트에서의 분류 정확도를 기반으로 적합도를 평가하고, 국소 탐색 중 과적합을 방지하기 위해 조기 정지 기법을 사용한다.

실험 결과

연구 질문

• RQ1 경사 하강법을 국소 탐색 기법으로 통합함으로써 표준 GP 대비 GP 기반 이미지 분류기의 분류 정확도 향상 여부는?
• RQ2 국소 탐색의 포함 여부가 이미지 분류 작업에서 진화된 GP 트리의 크기와 복잡도에 미치는 영향은?
• RQ3 하이브리드 GP-경사 하강 접근법이 표준 GP나 전통적인 CNN보다 더 해석 가능하고 효율적인 모델을 생성할 수 있는가?
• RQ4 GP 기반 이미지 분류 환경에서 국소 탐색이 추론 속도와 학습 시간에 미치는 영향은?
• RQ5 국소 탐색이 모델 일반화 능력을 얼마나 향상시키며, 적응형 학습률 전략이 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 멤티즘 접근법은 기준 GP 방법과 유사한 테스트 정확도를 달성했으며, 분류 성능 향상은 통계적으로 유의미하지 않았다.
• 정확도 향상 없이도 JAFFE 및 CMU Faces 포함 모든 데이터셋에서 평균 트리 크기가 유의미하게 작아졌으며, 이는 더 컴팩트한 모델을 의미한다.
• 단순성에 대한 명시적 선택 압력 없이도 더 작은 트리 크기가 관찰되었으며, 이는 경사 하강법이 자연스럽게 모델 압축을 촉진함을 시사한다.
• 국소 탐색으로 인해 학습 시간은 증가했지만, 모델 복잡도 감소로 인해 많은 경우에서 더 빠른 추론 시간을 기록했다.
• 진화된 모델들은 높은 해석 가능성을 보였으며, Hands 데이터셋에서 한 예시는 고대비 필터링과 최소 풀링을 통해 손가락 영역을 명확히 식별했다.
• 국소 탐색은 모델의 해석 가능성에 해를 끼치지 않았고 오히려 더 단순하고 효율적인 모델을 만들어내어, 하이브리드 진화-경사 하강 접근법의 잠재적 이점을 입증했다.