[논문 리뷰] Long-Tailed Continual Learning For Visual Food Recognition

Jiangpeng He, Zhang, Xiaoyan외 4명|arXiv (Cornell University)|2023. 07. 01.

Nutritional Studies and Diet인용 수 7

한 줄 요약

이 논문은 시각적 식품 인식에서 장수익분포(long-tailed) 지속학습을 위한 엔드 투 엔드 프레임워크를 제안하며, 특징 기반 지식 정착(knowledge distillation)과 치명적 망각(catastrophic forgetting)을 완화하기 위한 이중 예측 헤드(dual-prediction head)를 결합하고, 희귀 식품 클래스의 일반화를 향상시키기 위해 CAM-CutMix 데이터 증강 기법을 사용한다. 이 방법은 Food101-LT, VFN-LT, VFN-INSULIN, VFN-T2D 벤치마크에서 기존 방법들을 능가하는 유의미한 정확도 향상을 달성한다.

ABSTRACT

Deep learning-based food recognition has made significant progress in predicting food types from eating occasion images. However, two key challenges hinder real-world deployment: (1) continuously learning new food classes without forgetting previously learned ones, and (2) handling the long-tailed distribution of food images, where a few common classes and many more rare classes. To address these, food recognition methods should focus on long-tailed continual learning. In this work, We introduce a dataset that encompasses 186 American foods along with comprehensive annotations. We also introduce three new benchmark datasets, VFN186-LT, VFN186-INSULIN and VFN186-T2D, which reflect real-world food consumption for healthy populations, insulin takers and individuals with type 2 diabetes without taking insulin. We propose a novel end-to-end framework that improves the generalization ability for instance-rare food classes using a knowledge distillation-based predictor to avoid misalignment of representation during continual learning. Additionally, we introduce an augmentation technique by integrating class-activation-map (CAM) and CutMix to improve generalization on instance-rare food classes. Our method, evaluated on Food101-LT, VFN-LT, VFN186-LT, VFN186-INSULIN, and VFN186-T2DM, shows significant improvements over existing methods. An ablation study highlights further performance enhancements, demonstrating its potential for real-world food recognition applications.

연구 동기 및 목표

• 장수익분포 하에서 지속학습 시 치명적 망각과 클래스 불균형의 이중적 과제를 해결한다.
• 2型 당뇨병 환자와 인슐린 사용자들의 실제 식사 소비 패턴을 반영한 현실적인 벤치마크 데이터셋을 개발한다.
• 이전에 학습한 식품 클래스의 지식을 효과적으로 유지하면서도 새로운 희귀 식품 카테고리에 적응할 수 있는 엔드 투 엔드 학습 프레임워크를 설계한다.
• 혁신적인 데이터 증강 및 표현 정착 기법을 통해 인스턴스 희귀 식품 클래스의 일반화를 향상시킨다.
• 새로 도입된 VFN-INSULIN 및 VFN-T2D를 포함한 여러 장수익분포 데이터셋에서 성능을 평가하여 프레임워크의 강건성과 실제 적용 가능성에 대한 근거를 제시한다.

제안 방법

• 지속학습 중 특징 공간의 불일치를 줄이기 위해 현재 표현을 이전 클래스 공간으로 다시 투영하는 이중 예측 헤드 메커니즘을 지식 정착에 도입한다.
• 학생-선생 프레임워크를 사용한 특징 기반 지식 정착을 적용하여 학생 모델이 현재 및 이전 클래스의 표현으로부터 학습한다.
• 희귀 식품 클래스의 특징적 영역을 강조하고 표현 학습을 향상시키기 위해 클래스 활성화 맵(CAM)과 CutMix를 조합한 새로운 데이터 증강 전략을 제안한다.
• 지식 유지에 사용할 예시 이미지 저장을 위한 메모리 버퍼를 활용하며, 버퍼 용량에 대한 분석을 통해 확장성과 프라이버시 간의 트레이드오���을 평가한다.
• ImageNet-1K 및 ImageNet-21K에서 사전 학습된 백본(예: ResNet, EfficientNet, ViT)을 활용하여 지속학습 이전의 초기 표현을 향상시킨다.
• 새로운 클래스에 대해서만 업데이트되는 점진적 학습을 수행하며, 정착과 예시 기반 정규화를 통해 이전에 본 클래스의 성능을 유지한다.

실험 결과

연구 질문

• RQ1 장수익분포 지속학습에서 시각적 식품 인식에 있어 치명적 망각을 어떻게 효과적으로 완화할 수 있는가?
• RQ2 CAM 기반 주의(attention)를 CutMix와 통합할 경우, 장수익분포 하에서 희귀 식품 클래스의 일반화에 얼마나 기여하는가?
• RQ3 제안된 이중 예측 헤드 메커니즘이 점진적 학습 단계 간 표현 정렬을 어떻게 향상시키는가?
• RQ4 메모리 버퍼 크기가 장수익분포 지속학습에서 성능에 미치는 영향은 무엇이며, 성능이 정점에 도달하는 지점은 어디인가?
• RQ5 대규모 데이터셋에서 사전 학습된 백본이 장수익분포 지속학습 식품 인식에서 후행 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 Food101-LT, VFN-LT, VFN-INSULIN, VFN-T2D 벤치마크에서 기존 방법들에 비해 평균 정확도에서 큰 향상을 달성한다.
• 메모리 버퍼 용량이 증가할수록 성능이 지속적으로 향상되나, 50개 예시를 초과하면 성능 향상이 정체되며, 이는 클래스 불균형과 망각으로 인한 성능 한계를 시사한다.
• ImageNet-1K 및 ImageNet-21K에서의 사전 학습은 초기 학습과 비교해 평균 정확도를 20퍼센트 이상 향상시키며, 강력한 초기 표현의 중요성을 입증한다.
• CAM-CutMix 증강 기법은 특히 장수익분포 환경에서 인스턴스 희귀 식품 클래스의 일반화 능력을 크게 향상시킨다.
• 절단 분석(ablation study) 결과, 이중 예측 헤드와 CAM-CutMix 증강 모두 핵심 구성 요소로 확인되었으며, 전체 성능 향상에 기여하는 데 기여도가 높다.
• 프레임워크는 당뇨병 환자 및 인슐린 사용자 전용 패턴을 포함한 다양한 실제 식사 소비 패턴에서 강건한 성능을 보이며, 실제 적용 가능성을 입증한다.