[논문 리뷰] Transferring Knowledge for Food Image Segmentation using Transformers and Convolutions

Grant Sinha, Krish Parmar외 5명|arXiv (Cornell University)|2023. 06. 15.

Nutritional Studies and DietMedicine인용 수 3

한 줄 요약

이 논문은 FoodSeg103 벤치마크를 사용하여 시각 트랜스포머(BEiT-v2)와 컨volutional 네트워크(InternImage)에서의 지식 전이를 통해 음식 이미지 세그멘테이션을 제안한다. BEiT-v2는 전역 수용영역과 벡터 양자화 지식 전이를 통해 기존 방법을 능가하는 새로운 최상위 성능 mIoU 49.4를 달성하였으며, 높은 종류 간 유사성과 긴 꼬리형 데이터 분포를 가진 복잡한 음식 세그멘테이션 작업에서 뛰어난 특징 전이 가능성으로 입증되었다.

ABSTRACT

Food image segmentation is an important task that has ubiquitous applications, such as estimating the nutritional value of a plate of food. Although machine learning models have been used for segmentation in this domain, food images pose several challenges. One challenge is that food items can overlap and mix, making them difficult to distinguish. Another challenge is the degree of inter-class similarity and intra-class variability, which is caused by the varying preparation methods and dishes a food item may be served in. Additionally, class imbalance is an inevitable issue in food datasets. To address these issues, two models are trained and compared, one based on convolutional neural networks and the other on Bidirectional Encoder representation for Image Transformers (BEiT). The models are trained and valuated using the FoodSeg103 dataset, which is identified as a robust benchmark for food image segmentation. The BEiT model outperforms the previous state-of-the-art model by achieving a mean intersection over union of 49.4 on FoodSeg103. This study provides insights into transfering knowledge using convolution and Transformer-based approaches in the food image domain.

연구 동기 및 목표

• 시각 트랜스포머와 컨volutional 네트워크의 지식 전이 능력을 음식 이미지 세그멘테이션에서 평가하는 것.
• 종류 간 유사성, 종류 내 변동성, 긴 꼬리형 데이터 분포 등 음식 세그멘테이션의 과제를 해결하는 것.
• 세분화된 음식 세그멘테이션에 있어 강력하고 도전적인 벤치마크로 평가된 FoodSeg103 데이터셋에서의 성능을 벤치마크하는 것.
• Transformer 기반 모델인 BEiT-v2가 컨볼루션 모델보다 복잡한 음식 장면에서 전역적 맥락과 의미 관계를 더 잘 포착할 수 있는지 탐구하는 것.
• 지식 전이와 자기지도 학습 사전학습의 효과가 자원이 제한된 음식 데이터셋에서의 세그멘테이션 성능 향상에 얼마나 기여하는지 비교하는 것.

제안 방법

• ImageNet-1K에서 사전학습된 BEiT-v2(벡터 양자화 지식 전이를 통한)를 Fine-tuning하여 FoodSeg103에서의 의미적 세그멘테이션에 적용한다.
• 데포밍 컨볼루션(DCN-V3)을 사용한 최신 컨volutional 네트워크인 InternImage-B를 비교를 위한 강력한 베이스라인으로 훈련시킨다.
• Fine-tuning 동안 두 모델 모두에 표준 의미적 세그멘테이션 헤드와 교차 엔트로피 손실 및 Dice 손실을 적용한다.
• FoodSeg103의 긴 꼬리형 클래스 분포 문제를 완화하기 위해 데이터 증강 및 클래스 균형 전략을 사용한다.
• 두 단계 훈련 프로세스를 적용: ImageNet-1K에서의 사전학습 → FoodSeg103에서의 Fine-tuning 및 학습률 스케줄링.
• BEiT-v2의 사전학습에서 벡터 양자화 토큰화를 활용하여 이산적 시각 코드북을 학습시켜 의미 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 현대적인 컨볼루션 네트워크(InternImage-B)에 비해 시각 트랜스포머 기반 백본인 BEiT-v2가 음식 이미지 세그멘테이션에서 지식 전이를 더 효과적으로 수행하는가?
• RQ2 전역 수용영역과 자기주의 메커니즘은 복잡하고 겹치는 음식 장면에서 세그멘테이션 성능을 어떻게 향상시키는가?
• RQ3 BEiT-v2의 벡터 양자화 지식 전이가 세분화된 음식 세그멘테이션을 위한 특징 표현을 얼마나 향상시키는가?
• RQ4 긴 꼬리형 클래스 분포와 종류 간 유사성은 음식 세그멘테이션에서 모델 일반화에 어떤 영향을 미치는가?
• RQ5 BEiT-v2는 파일레 미뇽과 돼지 초릿살처럼 외관이 유사한 음식들을 구분하는 데서 컨볼루션 모델의 한계를 극복할 수 있는가?

주요 결과

• BEiT-v2는 FoodSeg103 데이터셋에서 평균 교차율(mIoU) 49.4를 기록하여 새로운 최상위 성능을 달성하였다.
• InternImage-B 모델은 mIoU 41.1을 기록하였으며, 강력한 성능를 보였지만 시각 트랜스포머 기반 접근법에 비해 열등한 성능를 보였다.
• BEiT-v2는 햄버거, pudging, 김치와 같은 긴 꼬리 클래스에서 뛰어난 성능를 보였지만, 희소한 훈련 데이터로 인해 모든 모델이 이들에서 어려움을 겪었다.
• BEiT-v2의 전역 수용영역 덕분에 더 나은 맥락 이해가 가능하여, 겹치거나 혼합된 음식 항목의 세그멘테이션 성능가 향상되었다.
• BEiT-v2의 총합적 슈퍼리어리티에도 불구하고, mashed potatoes와 고기를 하나의 세그먼트로 잘못 분류하는 경우처럼 InternImage가 더 잘 수행하는 사례가 있었으며, 이는 모델별 고유의 실패 모드를 드러냈다.
• BEiT-v2의 사전학습 단계에서의 벡터 양자화 지식 전이가 더 강력한 의미 표현 학습을 이끌어내어 세분화된 세그멘테이션 작업의 성능를 향상시켰다.