[논문 리뷰] Tuned Inception V3 for Recognizing States of Cooking Ingredients

Kin Ng|arXiv (Cornell University)|2019. 05. 05.

Robot Manipulation and Learning참고 문헌 23인용 수 4

한 줄 요약

이 논문은 자체 제작한 데이터셋을 기반으로 전이 학습을 사용하여 11개의 다른 조리 재료 상태(예: 껍질 벗긴, 다진, 통째)를 인식하기 위해 최적화된 Inception V3 모델을 제안한다. 초기 레이어를 동결하고 SGD를 사용하여 상단 레이어를 미세 조정함으로써, 모델은 검증되지 않은 테스트 데이터에서 69.4%의 정확도를 달성하여 로봇 조리 응용 분야의 가능성을 입증한다.

ABSTRACT

Cooking is a task that must be performed in a daily basis, and thus it is an activity that many people take for granted. For humans preparing a meal comes naturally, but for robots even preparing a simple sandwich results in an extremely difficult task. In robotics, designing kitchen robots is complicated since cooking relies on a variety of physical interactions that are dependent on different conditions such as changes in the environment, proper execution of sequential instructions, along with motions, and detection of the different states in which cooking-ingredients can be in for their correct grasping and manipulation. In this paper, we focus on the challenge of state recognition and propose a fine tuned convolutional neural network that makes use of transfer learning by reusing the Inception V3 pre-trained model. The model is trained and validated on a cooking dataset consisting of eleven states (e.g. peeled, diced, whole, etc.). The work presented on this paper could provide insight into finding a potential solution to the problem.

연구 동기 및 목표

• 로봇 조리의 과제를 해결하기 위해 재료 상태 정확한 인식을 가능하게 하여 적절한 캐치 및 조작을 위한 전제 조건을 마련한다.
• 재료가 여러 변형을 겪는 동적인 주방 환경에서 상태 인식의 어려움을 극복한다.
• 사전 훈련된 Inception V3 모델을 특화된 조리 재료 상태 분류 작업에 적응시키기 위해 전이 학습을 활용한다.
• 로봇 시스템이 요리 준비 중 재료의 물리적 상태를 이해하고 반응할 수 있도록 기초적인 솔루션을 제공한다.
• 로봇이 자율적으로 복잡한 실생활 과제, 예를 들어 요리와 같은 일상적인 작업을 수행할 수 있도록 하는 광범위한 목표에 기여한다.

제안 방법

• 사전 훈련된 Inception V3 아키텍처를 자체 제작한 조리 재료 상태 데이터셋에 최적화하기 위해 전이 학습을 활용한다.
• 훈련을 두 단계로 나누었다: 첫 번째로 랜덤으로 초기화된 상단 레이어만 훈련하고 높은 초기 학습률을 사용하며, 두 번째로 낮은 학습률로 전체 네트워크를 미세 조정한다.
• 일반화 성능 향상을 위해 무작위 수평 뒤집기 및 색상 왜곡과 같은 데이터 증강 기법을 적용한다.
• 안정적인 소규모 가중치 갱신을 보장하기 위해 미세 조정 단계에서 낮은 학습률(0.00001)과 운동량(0.9)을 갖춘 SGD를 선택한다.
• 다양한 수의 초기 레이어를 동결해가며 실험한 결과, 최대 249번째 레이어까지 동결(즉, 상단 두 개의 훈련 가능한 블록까지)할 경우 최적의 성능을 기록하였다.
• 모델의 강건성과 일반화 능력을 평가하기 위해 11개 상태의 자체 제작 데이터셋을 사용하였으며, 모호한 경우와 다중 상태 예제를 포함하였다.

실험 결과

연구 질문

• RQ1 전이 학습을 사용하여 최적화된 Inception V3 모델이 11개의 다른 조리 재료 상태를 신뢰성 있게 분류할 수 있는가?
• RQ2 다양한 수의 초기 레이어를 동결할 경우, 미세 조정 중 모델 성능과 수렴에 어떤 영향을 미치는가?
• RQ3 모호함, 다중 상태 레이블링, '기타' 카테고리가 분류 정확도에 어떤 영향을 미치는가?
• RQ4 이 특화된 조리 상태 인식 작업에서, SGD를 사용한 전이 학습 기반의 미세 조정이 처음부터 엔드 투 엔드 훈련을 초월할 수 있는가?
• RQ5 잘못 레이블링되거나 모호한 이미지와 같은 데이터 품질 문제로 인해 모델 성능이 얼마나 제한되는가?

주요 결과

• 모델은 전체 훈련 후 검증 세트에서 72%의 정확도를 기록하여 훈련 분포에 대한 강력한 학습 능력을 보였다.
• 검증되지 않은 테스트 데이터에서 모델은 69.4%의 정확도를 달성하여 데이터셋의 한계에도 불구하고 일반화 능력을 입증하였다.
• 249번째 레이어까지 동결(상단 두 개의 Inception 블록까지)했을 경우 최고의 성능을 기록하였으며, 검증 손실은 0.8192, 정확도는 72.86%였다.
• 이보다 더 많은 레이어를 동결할 경우(예: 229 또는 197까지), 정확도는 감소하고 훈련 시간은 증가하여 과도한 동결이 성능에 악영향을 준다는 것을 시사했다.
• '기타' 클래스와 모호하거나 다중 상태 이미지는 특히 도전적인 테스트 케이스에서 오분류의 주요 원인이었다.
• 시각적 분석을 통해 동일한 외관을 가졌지만 다른 레이블이 부여된 이미지(예: '크림 같은' vs. '기타')와 다중 상태 이미지(예: 다진 것과 밀가루 뿌린 것 둘 다)가 모델의 신뢰성에 상당한 영향을 미쳤다는 것이 확인되었다.