[논문 리뷰] A Review of the Vision-based Approaches for Dietary Assessment.

Ghalib Ahmed Tahir, Chu Kiong Loo|arXiv (Cornell University)|2021. 06. 21.

Nutritional Studies and Diet참고 문헌 89인용 수 2

한 줄 요약

이 리뷰는 모바일 애플리케이션과 이미지 데이터베이스를 활용한 컴퓨터 비전 기반 기법을 활용한 자동 식이 평가를 위한 시각 기반 접근법을 평가한다. 최신 기법들을 종합적으로 분석하고 성능을 평가하며, mHealth 기반 식이 모니터링 분야의 연구 격차와 향후 과제를 규명한다.

ABSTRACT

Last ten years have witnessed the growth of many computer vision applications for food recognition. Dietary studies showed that dietary-related problem such as obesity is associated with other chronic diseases like hypertension, irregular blood sugar levels, and increased risk of heart attacks. The primary cause of these problems is poor lifestyle choices and unhealthy dietary habits, which are manageable by using interactive mHealth apps that use automatic visual-based methods to assess dietary intake. This review discusses the most performing methodologies that have been developed so far for automatic food recognition. First, we will present the rationale of visual-based methods for food recognition. The core of the paper is the presentation, discussion and evaluation of these methods on popular food image databases. We also discussed the mobile applications that are implementing these methods. The review ends with a discussion of research gaps and future challenges in this area.

연구 동기 및 목표

• 식이 평가에서 자동 식품 인식을 위한 시각 기반 기법의 근거와 개발 과정을 검토하기 위해.
• 표준 식품 이미지 데이터베이스에서 주요 컴퓨터 비전 기법의 성능을 평가하기 위해.
• 이러한 시각 기반 식품 인식 시스템을 통합한 기존 모바일 애플리케이션을 분석하기 위해.
• 컴퓨터 비전을 활용한 자동 식이 모니터링 분야에서의 핵심 연구 격차와 향후 과제를 규명하기 위해.

제안 방법

• 최근 10년간의 시각 기반 식품 인식에 관한 동료 심사 논문을 대상으로 한 체계적 리뷰.
• 이미지 처리, 특징 추출 및 분류 기법을 기반으로 한 기법의 분류 및 비교 분석.
• Food-101, UEC-Food100 및 기타 공개 식품 이미지 데이터베이스를 활용한 기법 평가.
• 실생활 식이 모니터링을 위한 이러한 시각 기반 시스템을 구현한 모바일 애플리케이션 평가.
• mHealth 환경에서 이러한 시스템을 구현할 때 발생하는 기술적 및 실용적 과제에 대한 논의.
• 기법 수준 및 응용 수준의 발견을 바탕으로 한 추세, 한계 및 향후 연구 방향의 통합.

실험 결과

연구 질문

• RQ1 식이 평가에서 자동 식품 인식을 위한 가장 효과적인 컴퓨터 비전 기법은 무엇인가?
• RQ2 이러한 시각 기반 기법들은 표준 식품 이미지 데이터베이스에서 어떻게 성능을 발휘하는가?
• RQ3 현재 어떤 모바일 애플리케이션이 시각 기반 식품 인식을 구현하고 있으며, 그 기술적 및 사용성적 한계는 무엇인가?
• RQ4 시각 기반 식이 평가 시스템을 발전시키는 데 있어 핵심 연구 격차와 과제는 무엇인가?
• RQ5 시각 기반 접근법은 실생활 mHealth 애플리케이션에 더욱 최적화될 수 있는가?

주요 결과

• 딥 러닝과 향상된 특징 추출 기법을 통해 시각 기반 접근법이 식품 인식 정확도를 크게 향상시켰다.
• Food-101과 UEC-Food100과 같은 인기 있는 식품 이미지 데이터베이스는 인식 모델의 표준화된 벤치마킹을 가능하게 하였다.
• 이러한 기법을 활용한 모바일 애플리케이션은 실시간 식이 기록에 잠재력을 보이고 있으나, 실생활 조명 조건과 자세 변화에서 정확도 문제가 존재한다.
• 진전이 있었음에도 불구하고, 혼합 요리 인식, 제공량 추정, 저조도 조건에서의 성능 격차는 여전히 크다.
• 현재 시스템은 다양한 요리 스타일과 요리법에 대한 일반화 능력이 떨어지는 편이다.
• 향후 연구는 내성성, 해석 가능성 향상 및 확장 가능한 mHealth 플랫폼에의 통합 강화에 초점을 맞춰야 한다.