[논문 리뷰] Forward-Forward Contrastive Learning

Md Atik Ahamed, Jin Chen외 1명|arXiv (Cornell University)|2023. 05. 04.

COVID-19 diagnosis using AIMedicine인용 수 3

한 줄 요약

이 논문은 백프로파게이션을 사용하지 않고, 포워드-포워드 알고리즘 원리를 적용하여 각 네트워크 레이어에서 국소적으로 그리고 최종 표현에서 전역적으로 지도형 대비 학습을 수행하는 새로운 다단계 사전학습 방법인 포워드-포워드 대비 학습(FFCL)을 제안한다. FFCL은 흉부 X선 영상에서 폐렴 분류 작업에서 ImageNet 사전학습을 거친 ResNet-18보다 3.69% 높은 정확도를 달성하여 일반화 능력 향상과 세부 특징 학습 향상을 입증한다.

ABSTRACT

Medical image classification is one of the most important tasks for computer-aided diagnosis. Deep learning models, particularly convolutional neural networks, have been successfully used for disease classification from medical images, facilitated by automated feature learning. However, the diverse imaging modalities and clinical pathology make it challenging to construct generalized and robust classifications. Towards improving the model performance, we propose a novel pretraining approach, namely Forward Forward Contrastive Learning (FFCL), which leverages the Forward-Forward Algorithm in a contrastive learning framework--both locally and globally. Our experimental results on the chest X-ray dataset indicate that the proposed FFCL achieves superior performance (3.69% accuracy over ImageNet pretrained ResNet-18) over existing pretraining models in the pneumonia classification task. Moreover, extensive ablation experiments support the particular local and global contrastive pretraining design in FFCL.

연구 동기 및 목표

• 표준 백프로파게이션과 ImageNet 사전학습의 한계를 해결하기 위해 다양한 영상 모odal리티와 세부 병변에 대해 의료 영상 분류에서의 성능을 향상시키는 것.
• 사전학습 중 기울기 역전파 없이 포워드-포워드 알고리즘 원리를 활용하여 의료 영상에서 모델의 일반화 능력과 특징 학습 능력을 향상시키는 것.
• 모든 단계에서 수동 임계값 조정 없이 완전 자동화된, 국소(레이어별) 및 전역(최종 임bedding) 수준에서 표현 학습을 향상시키는 전략을 개발하는 것.
• 대비 학습을 포워드-포워드 메커니즘과 통합할 경우 의료 영상 분류 작업, 특히 저자원 또는 도메인 이동 설정에서 성능 향상이 이루어지는지 입증하는 것.

제안 방법

• FFCL은 이중 단계 사전학습을 수행한다: 첫째, 각 잔차 블록에서 ReLU 활성화 후 특징 맵에 대해 코사인 임베딩 손실을 사용하여 국소 대비 학습을 수행한다.
• 둘째, 동일한 코사인 임베딩 손실을 사용하여 최종 임베딩 공간에서 전역 대비 학습을 적용하며, 동일한 레이블 또는 다른 레이블을 가진 이미지 쌍을 비교한다.
• 국소 및 전역 대비 손실은 임베딩 간의 정규화된 내적 곱을 사용하여 계산되며, 양성 및 음성 쌍에 대해 마진 기반의 감독이 적용된다.
• 이 프레임워크는 수정된 포워드-포워드 알고리즘을 사용하며, 사전학습 중 기울기 계산을 회피하고 수동 임계값 조정을 제거한다.
• 사전학습 이후, 이중 분류를 위한 표준 백프로파게이션 미세조정을 수행하며, 이때 이진 교차 엔트로피 손실을 사용한다.
• 이 방법은 완전 자동화되어 있으며 단계 간 하이퍼파ram터 조정이 필요 없으며, 엔드 투 엔드 학습으로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 국소 및 전역 대비 학습을 조합한 다단계 사전학습 전략이 의료 영상 분류에서 일반화 능력을 향상시킬 수 있는가?
• RQ2 표준 백프로파게이션을 포워드-포워드 기반의 대비 학습 전처리 메커니즘으로 대체할 경우 의료 영상에서 더 나은 특징 학습이 이루어지는가?
• RQ3 국소 및 전역 사전학습의 순서가 폐렴 분류 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 저자원 의료 영상 환경에서 ImageNet 사전학습 및 최첨단 기법을 초월할 수 있는가?

주요 결과

• 랜덤 가중치 초기화와 ResNet-18을 사용하여 FFCL은 소아 흉부 X선 영상 데이터셋에서 80.45%의 정확도를 달성하였으며, ImageNet 사전학습을 거친 RBP 기준보다 3.69% 높았다.
• 랜덤 초기화 조건에서 FFCL은 AUC 93.33%를 기록하여 RBP 기준(89.15%)과 최첨단 기법들(75–78.4% AUC)을 모두 초월했다.
• 제거 실험을 통해 국소 및 전역 사전학습의 조합이 필수적임을 확인하였으며, 국소 또는 전역 대비 학습만 수행한 모델는 열등한 성능을 보였다.
• ImageNet 초기화 조건에서도 FFCL은 72.28%의 정확도를 기록하였으며, 이는 랜덤 초기화 조건에서 RBP 기준(76.76%)을 초월했다.
• 랜덤 초기화 조건에서 국소 전용 사전학습 전략은 62.50%의 정확도를 기록하였으며, 이는 전역적 맥락 정보가 성능 향상에 필수적임을 시사한다.
• ResNet-34에서 FFCL은 랜덤 초기화 조건에서 78.85%의 정확도를 기록하였으며, RBP 기준(78.53%)을 略로 초월하여 아키텍처 간 일관된 성능 향상을 확인했다.