[논문 리뷰] Wide-Slice Residual Networks for Food Recognition

Niki Martinel, Gian Luca Foresti외 1명|arXiv (Cornell University)|2016. 12. 20.

Advanced Chemical Sensor TechnologiesEngineering인용 수 19

한 줄 요약

이 논문은 식품 조리법의 구조적 특성, 특히 수직 방향의 식품 층 구조를 포착하기 위해 슬라이스 컨볼루션 레이어를 통합하고 일반적인 특징 추출을 위한 잔차 학습 브랜치를 포함하는 새로운 딥 리소지드 네트워크인 WISeR을 제안한다. 이러한 브랜치들을 융합함으로써 WISeR는 Food-101 데이터셋에서 상위-1 정확도 90.27%를 달성하며, 식품 조리법에 특화된 아키텍처 설계를 통해 기존 방법을 능가한다.

ABSTRACT

Food diary applications represent a tantalizing market. Such applications, based on image food recognition, opened to new challenges for computer vision and pattern recognition algorithms. Recent works in the field are focusing either on hand-crafted representations or on learning these by exploiting deep neural networks. Despite the success of such a last family of works, these generally exploit off-the shelf deep architectures to classify food dishes. Thus, the architectures are not cast to the specific problem. We believe that better results can be obtained if the deep architecture is defined with respect to an analysis of the food composition. Following such an intuition, this work introduces a new deep scheme that is designed to handle the food structure. Specifically, inspired by the recent success of residual deep network, we exploit such a learning scheme and introduce a slice convolution block to capture the vertical food layers. Outputs of the deep residual blocks are combined with the sliced convolution to produce the classification score for specific food categories. To evaluate our proposed architecture we have conducted experimental results on three benchmark datasets. Results demonstrate that our solution shows better performance with respect to existing approaches (e.g., a top-1 accuracy of 90.27% on the Food-101 challenging dataset).

연구 동기 및 목표

• 재료, 조리법, 제시 방식의 영향으로 인해 동일한 요리가 외관상으로 크게 다를 수 있는 식품 이미지에서의 높은 내부 클래스 변동성을 해결한다.
• 기존 접근 방식이 식품 특유의 구조적 특성 고려 없이 표준 딥 아키텍처를 그대로 적용하는 데서 비롯하는 한계를 극복한다.
• 특히 많은 요리에서 흔한 수직 층 구조를 고려하여 식품 조리법에 특화된 딥 러닝 아키텍처를 설계한다.
• 슬라이스 컨볼루션을 통한 구조적 특징 학습과 잔차 블록을 통한 일반적인 딥 표현 학습을 융합하여 분류 성능을 향상시킨다.

제안 방법

• 식품 이미지의 수직 슬라이스에서 특징을 추출하는 새로운 슬라이스 컨볼루션 레이어를 도입하여, 많은 요리에 공통적으로 나타나는 층 구조를 모델링한다.
• 슬라이스 컨볼루션 브랜치를 넓은 잔차 네트워크(WRN)와 융합하여 복잡하고 다양한 식품 외관에서 일반적인 시각적 특징을 학습한다.
• 깊이 있는 잔차 네트워크에서의 특징 재사용 열화 문제를 완화하기 위해 레이어 간 특징 맵을 풍부하게 한다.
• 최종 분류 전에 두 브랜치의 특징을 연결(concatenation)하여 융합함으로써, 네트워크가 구조적 특징과 일반적인 시각적 단서를 모두 활용할 수 있도록 한다.
• 잔차 브랜치에 사전 훈련된 ImageNet 가중치를 활용하여 강력한 인도크티브 바이어스를 도입함으로써 특징의 구분 능력을 향상시킨다.
• 시각적 주의 분석을 위해 Guided Grad-CAM을 적용하여 모델이 분류 과정에서 관련 이미지 영역에 집중하는지 해석하고 검증한다.

실험 결과

연구 질문

• RQ1 식품의 구조, 특히 수직 층 구조에 특화된 딥 러닝 아키텍처가 식품 인식 성능을 향상시킬 수 있는가?
• RQ2 슬라이스 컨볼루션을 통한 구조적 특징 학습과 일반적인 잔차 학습을 융합함으로써 표준 아키텍처에 비해 분류 정확도가 어떻게 향상되는가?
• RQ3 ImageNet에서 사전 훈련된 잔차 브랜치가 파인튜닝 없이 식품 인식 성능에 얼마나 기여하는가?
• RQ4 시각적 주의 분석을 통해 제안된 아키텍처가 분류 과정에서 관련 이미지 영역을 자율적으로 식별하고 집중하는가?

주요 결과

• WISeR는 Food-101 벤치마크에서 상위-1 정확도 90.27%를 달성하며, 최신 기술을 초월한다.
• 잔차 학습 브랜치가 슬라이스 컨볼루션 브랜치보다 성능 기여도가 훨씬 크며, 후자는 융합 시에만 점진적인 성능 향상을 기여한다.
• WISeR 아키텍처를 완전히 미리 훈련 없이 학습시킬 경우 Food-101에서 상위-1 정확도가 78.12%에 그치며, ImageNet 사전 훈련의 중요성을 확인한다.
• Guided Grad-CAM을 통한 시각적 주의 분석 결과, WISeR는 접시, 숟가락, 배경 등 관련이 없는 물체를 간과하고 오직 관련 있는 식품 영역에 집중함을 확인한다.
• 슬라이스 및 잔차 특징의 융합은 뛰어난 성능을 이끌어내며, 이는 식품 인식에서 구조적 특징와 일반적 특징이 상호 보완적임을 시사한다.
• 식품 조리법의 다양성과 도메인 이동에 강건한 성능을 보이며, Food-101, UECFood100, UECFood256 데이터셋 간에 잘 일반화됨을 입증한다.