[논문 리뷰] Personalized Classifier for Food Image Recognition

Shota Horiguchi, Sosuke Amano외 2명|arXiv (Cornell University)|2018. 04. 08.

Image Retrieval and Classification Techniques참고 문헌 51인용 수 3

한 줄 요약

이 논문은 최소한의 사용자 데이터로 점진적인 개인화가 가능한, 깊이 학습 특징과 가중치가 부여된 최근접 이웃 접근 방식을 조합한 순차적 개인화 분류기(SPC)를 제안한다. 이 방법은 재학습 없이도 개인 사용자의 식품 이미지 패턴에 동적으로 적응함으로써 기존 기술보다 뛰어난 정확도를 달성한다. 새로운 클래스당 몇 개의 샘플만으로도 작동한다.

ABSTRACT

Currently, food image recognition tasks are evaluated against fixed datasets. However, in real-world conditions, there are cases in which the number of samples in each class continues to increase and samples from novel classes appear. In particular, dynamic datasets in which each individual user creates samples and continues the updating process often have content that varies considerably between different users, and the number of samples per person is very limited. A single classifier common to all users cannot handle such dynamic data. Bridging the gap between the laboratory environment and the real world has not yet been accomplished on a large scale. Personalizing a classifier incrementally for each user is a promising way to do this. In this paper, we address the personalization problem, which involves adapting to the user's domain incrementally using a very limited number of samples. We propose a simple yet effective personalization framework which is a combination of the nearest class mean classifier and the 1-nearest neighbor classifier based on deep features. To conduct realistic experiments, we made use of a new dataset of daily food images collected by a food-logging application. Experimental results show that our proposed method significantly outperforms existing methods.

연구 동기 및 목표

• 실험실 기반의 고정된 데이터셋 이미지 분류와 달리 사용자가 지속적으로 새로운 개인화된 식품 클래스를 추가하는 실세계의 동적 식품 이미지 데이터 간의 격차를 해소한다.
• 안정된 클래스 분포와 동일한 클래스 크기를 가정하는 전통적인 점진적 학습 방법의 한계를 극복한다.
• 특히 새로운 또는 희귀 품목에 대해 사용자가 식품 카테고리당 레이블이 부족한 실세계 환경에서 효과적인 개인화를 가능하게 한다.
• 중대한 재학습 없이도 개인 사용자 선호도와 시각적 도메인에 적응할 수 있는 경량이고 확장 가능한 프레임워크를 개발한다.
• 정확한 사용자별 이미지 분류를 통해 수동 레이블링 작업을 줄임으로써 식품 기록 애플리케이션을 향상시킨다.

제안 방법

• SPC 프레임워크는 고정 클래스의 깊이 신경망 분류기와 사용자 고유의 최근접 평균(NCM) 및 1-NN 분류기로 구성되며, 깊이 학습 특징을 기반으로 한다.
• 각 사용자에 대해, 새로운 이미지가 추가될 때마다 업데이트되는 개인화된 프로토타입 벡터를 각 클래스별로 유지한다.
• 분류는 고정 클래스 CNN과 사용자 고유의 분류기의 가중 융합을 통해 수행되며, 가중치는 신뢰도 점수에 의해 결정된다.
• 이 방법은 사전 학습된 CNN(예: VGG-16)에서 추출한 깊이 학습 특징을 사용하여 고차원 공간에서 이미지 임베딩을 표현한다.
• 사용자 고유의 분류기는 거리 기반 가중치를 적용한 최근접 이웃 접근 방식을 사용하여 1-shot 및 소수 샘플 학습 시나리오를 처리한다.
• 시스템은 점진적 학습을 지원한다: 전체 모델을 재학습하지 않고도 새로운 샘플을 추가할 수 있어 실시간 적응이 가능하다.

실험 결과

연구 질문

• RQ1 최소한의 레이블 데이터로도 개인 사용자의 식품 이미지 패턴에 효과적으로 적응할 수 있는 경량의 점진적 분류기 프레임워크는 가능한가?
• RQ2 실세계의 동적이고 사용자가 생성한 데이터를 기반으로 한 식품 이미지 인식에서, 개인화된 분류기의 성능은 고정 클래스 기반 모델과 비교해 어떻게 되는가?
• RQ3 고정 클래스 CNN과 사용자 고유의 최근접 이웃 학습을 융합한 하이브리드 접근 방식은 1-shot 및 소수 샘플 조건에서 분류 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 기존의 점진적 학습 및 도메인 적응 기법보다 개인화된 식품 이미지 인식에서 성능이 뛰어나게 되는가?
• RQ5 이 시스템은 다양한 사용자 간의 높은 내부 클래스 변동성과 클래스 간 유사성 문제를 어떻게 다루는가?

주요 결과

• 제안된 SPC 프레임워크는 개인화된 식품 이미지 인식에서 기존 방법보다 뚜렷이 뛰어난 성능을 보이며, 특히 낮은 데이터 환경에서 두각을 나타낸다.
• 초기 설정 시 고정 클래스 CNN과 경쟁 가능한 정확도를 달성하고, 사용자 고유의 데이터 업데이트에 따라 점진적으로 향상된다.
• SPC 프레임워크는 고정 클래스 기반 모델보다 더 자주 정확한 레이블을 제시함으로써 식품 기록 애플리케이션의 레이블링 작업을 줄였다.
• 선형 조합 전략(SPCsum)은 성능 향상을 이루지 못했으며, 이는 고정 및 사용자 고유의 분류기를 단순히 융합하는 것이 최적의 방법이 아님을 시사한다.
• 새로운 FLD 데이터셋은 사용자 간에 높은 클래스 간 유사성과 내부 클래스 다양성을 보여주었으며, 이는 개인화의 필요성을 정당화한다.
• 시스템은 새로운 식품 클래스당 단 한 개 또는 몇 개의 샘플만으로도 뛰어난 성능을 보였으며, 이는 1-shot 학습에 효과적임을 확인한다.