[논문 리뷰] Insect cyborgs: Biological feature generators improve machine learning accuracy on limited data.

Charles B. Delahunt, J. Nathan Kutz|arXiv (Cornell University)|2018. 08. 23.

Neurobiology and Insect Physiology Research참고 문헌 20인용 수 4

한 줄 요약

이 논문은 한정된 데이터로 학습하는 작업에서 성능을 향상시키기 위해 곤충 사이보그—기계 학습 모델에 모기의 후각 시스템을 모델링한 계산 모델인 MothNet이 강화된 것—을 제안한다. 경쟁적 억제와 헤브의 학습 원리를 포함한 생물학적 신경망 원리를 활용함으로써, MothNet이 생성한 특징은 벡터화된 MNIST에서 표준 기계 학습 분류기의 정확도를 6%에서 33%까지 향상시켰으며, 주성분 분석(PCA), 부분 최소 제곱 회귀(PLS), 사전 훈련된 신경망보다 뛰어난 성능을 보였다.

ABSTRACT

Machine learning (ML) classifiers always benefit from more informative input features. We seek to auto-generate stronger feature sets in order to address the difficulty that ML methods often experience given limited training data. A wide range of biological neural nets (BNNs) excel at fast learning, implying that they are adept at extracting informative features. We can thus look to BNNs for tools to improve ML performance in this low-data regime. The olfactory network learns new odors very rapidly, by means of three key elements: A competitive inhibition layer; a high-dimensional sparse plastic layer; and Hebbian updates of synaptic weights. In this work, we deployed MothNet, a computational model of the olfactory network, as an automatic feature generator: Attached as a front-end pre-processor, its Readout Neurons provided new features, derived from the original features, for use by standard ML classifiers. We found that these insect cyborgs, i.e. classifiers that are part-insect model and part-ML method, had significantly better performance than baseline ML methods alone on a vectorized MNIST dataset. The MothNet feature generator also substantially out-performed other feature generating methods such as PCA, PLS, and NNs, as well as pre-training to initialize NN weights. Cyborgs improved relative test set accuracy by an average of 6% to 33% depending on baseline ML accuracy, while relative reduction in test set error exceeded 50% for higher baseline accuracy ML models. These results indicate the potential value of BNN-inspired feature generators in the ML context.

연구 동기 및 목표

• 훈련 데이터가 제한적일 경우 기계 학습 성능이 떨어지는 문제를 해결하기 위해.
• 빠른 학습 능력을 지닌 생물학적 신경망(BNN)이 기계 학습에서 더 나은 특징 추출을 가능하게 할 수 있는지 탐구하기 위해.
• 후각 시스템의 효율성과 유사한 방식으로 정보를 담고 있는 특징을 추출할 수 있는 방법을 개발하기 위해.
• 생물학적으로 영감을 얻은 전처리 기법을 활용해 저데이터 환경에서 표준 기계 학습 분류기의 성능을 향상시키기 위해.

제안 방법

• 기계 학습 파이프라인의 프리프로세서로 모기 후각 시스템을 모델링한 계산 모델인 MothNet을 도입하기 위해.
• 원본 입력 데이터로부터 MothNet의 독취 신경세포를 활용해 고차원적이고 희박하며 유연한 특징을 생성하기 위해.
• 특징의 구분 능력과 적응 능력을 향상시키기 위해 MothNet 내부에서 경쟁적 억제와 헤브의 학습에 기반한 시냅스 가중치 갱신을 적용하기 위해.
• MothNet이 생성한 특징을 표준 기계 학습 분류기에 입력하여 후속 분류 작업을 수행하기 위해.
• 벡터화된 MNIST 데이터셋에서 MothNet 특징을 활용한 곤충 사이보그 모델을 훈련 및 평가하여 기준 모델과의 성능 비교를 수행하기 위해.
• 테스트 세트 정확도와 오류율을 기준으로 PCA, PLS, 신경망, 사전 훈련 방법과의 성능을 비교 평가하기 위해.

실험 결과

연구 질문

• RQ1 곤충 후각 시스템을 생물학적으로 모델링한 모델이 한정된 훈련 데이터에서 기계 학습 성능을 향상시킬 수 있는가?
• RQ2 MothNet이 생성한 특징 추출 방식은 주성분 분석(PCA) 및 부분 최소 제곱 회귀(PLS)와 같은 전통적인 차원 축소 기법과 비교해 어떻게 다른가?
• RQ3 저데이터 환경에서 MothNet을 특징 생성기로 사용할 경우, 신경망 사전 훈련 기법보다 성능이 뛰어나게 되는가?
• RQ4 곤충 사이보그는 표준 기계 학습 모델 대비 테스트 세트 오류를 어느 정도 감소시키는가?
• RQ5 MothNet의 생물학적 메커니즘인 경쟁적 억제, 희박한 유연성, 헤브의 학습이 특징 품질과 분류 정확도에 미치는 영향은 무엇인가?

주요 결과

• 표준 기계 학습 분류기와 MothNet을 결합한 곤충 사이보그는 기준 모델 대비 테스트 세트 정확도에서 상대적 향상이 6%에서 33%에 이르렀다.
• MothNet 특징을 적용한 기계 학습 모델에서 기준 정확도가 높을수록 테스트 세트 오류가 50% 이상 감소했다.
• 저데이터 환경에서 MothNet이 생성한 특징은 PCA, PLS, 표준 신경망의 특징보다 뚜렷하게 뛰어난 성능을 보였다.
• MothNet의 경쟁적 억제와 헤브의 학습에 기반한 특징 생성 과정은 사전 훈련 기법보다 더 구분력 있는 특징을 생성했다.
• 기준 모델의 초기 정확도가 높을수록 성능 향상이 두드러져, MothNet이 이미 우수한 성능을 보이는 모델을 더욱 정교하게 다듬는 데 효과적임을 시사했다.
• MothNet을 프리프로세서로 통합함으로써 다양한 평가 지표에서 일관된 성능 향상이 관찰되어, MothNet이 강력한 특징 생성기로서의 역할을 입증했다.