[논문 리뷰] A Simple Loss Function for Improving the Convergence and Accuracy of Visual Question Answering Models

Ilija Ilievski, Jiashi Feng|arXiv (Cornell University)|2017. 08. 02.

Multimodal Machine Learning Applications참고 문헌 18인용 수 8

한 줄 요약

이 논문은 시각질문응답(VQA)를 위한 새로운 소프트 크로스 엔트로피 손실 함수를 제안하며, 각 질문에 대한 모든 참값 답변을 고려하여 학습 손실과 평가 정확도 사이의 격차를 줄입니다. 각 유의미한 답변을 빈도에 따라 가중치를 적용함으로써, 학습 수렴성을 향상시키고 VQA 모델 정확도를 VQA v2.0 벤치마크에서 최대 1.6% 향상시킵니다.

ABSTRACT

Visual question answering as recently proposed multimodal learning task has enjoyed wide attention from the deep learning community. Lately, the focus was on developing new representation fusion methods and attention mechanisms to achieve superior performance. On the other hand, very little focus has been put on the models' loss function, arguably one of the most important aspects of training deep learning models. The prevailing practice is to use cross entropy loss function that penalizes the probability given to all the answers in the vocabulary except the single most common answer for the particular question. However, the VQA evaluation function compares the predicted answer with all the ground-truth answers for the given question and if there is a matching, a partial point is given. This causes a discrepancy between the model's cross entropy loss and the model's accuracy as calculated by the VQA evaluation function. In this work, we propose a novel loss, termed as soft cross entropy, that considers all ground-truth answers and thus reduces the loss-accuracy discrepancy. The proposed loss leads to an improved training convergence of VQA models and an increase in accuracy as much as 1.6%.

연구 동기 및 목표

• 표준 크로스 엔트로피 손실과 실제 VQA 평가 지표 사이의 불일치를 해결하기 위해, 다수의 정답을 고려하는 방식을 도입합니다.
• 최적화 과정에서 진정한 평가 기준을 더 잘 반영함으로써 VQA 모델의 학습 안정성과 수렴 속도를 향상시킵니다.
• 평가 프로토콜에 따라 최소 3명의 인간 앙케이트에 일치하는 답변에 대해 부분 점수를 부여하는 방식을 반영함으로써, 손실 함수를 더 정확하게 일치시켜 테스트 정확도를 높입니다.
• 아키텍처 변경 없이 다양한 VQA 아키텍처에서 성능을 향상시킬 수 있는 간단하고 즉시 사용 가능한 손실 함수를 제공합니다.

제안 방법

• 제안된 소프트 크로스 엔트로피 손실은 각 질문에 대해 고유한 참값 답변 전체에 대해 개별 크로스 엔트로피 손실의 가중 평균을 계산합니다.
• 참값 집합 내 각 답변은 빈도를 총 답변 수(일般적으로 10)로 나눈 값에 해당하는 가중치를 할당받으며, 이는 해당 답변이 정답일 가능성을 반영합니다.
• 손실 함수는 고유한 답변 전체에 대해 합을 취하며, 각 항은 해당 답변에 대한 표준 크로스 엔트로피 손실에 빈도 가중치를 곱한 것입니다.
• 이 방법은 표준 크로스 엔트로피 공식을 유지하면서도, 가장 빈번한 답변만을 고려하는 것이 아니라, 동시에 다수의 정답을 고려하도록 확장합니다.
• 이 방법은 어떤 VQA 모델 아키텍처와도 호환되며, 기존 학습 파이프라인에 쉽게 통합될 수 있습니다.

실험 결과

연구 질문

• RQ1 표준 크로스 엔트로피 손실과 VQA 평가 지표 사이의 격차가 모델 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ2 손실 함수에 다수의 참값 답변을 모델링함으로써 학습 역학과 최종 성능 향상이 가능할까?
• RQ3 모든 유의미한 답변에 대해 크로스 엔트로피 손실의 가중 평균을 취함으로써 학습 손실과 테스트 정확도 사이의 격차가 감소하는가?
• RQ4 제안된 손실 함수는 다양한 VQA 모델 아키텍처에서 얼마나 성능 향상을 이끌 수 있는가?

주요 결과

• 표준 크로스 엔트로피 대비 소프트 크로스 엔트로피 손실은 AVG VQA 모델에서 평균 검증 정확도를 1.2% 향상시키고, POOL VQA 모델에서는 1.6% 향상시킵니다.
• 이 향상은 Yes/No, Number, Other 유형 및 전체 평균에 걸쳐 일관되게 관찰됩니다.
• 이 방법은 학습 과정을 안정화시키며, 표준 크로스 엔트로피를 사용할 경우 관찰된 검증 손실과 정확도가 동시에 증가하는 비정상적인 경향을 제거합니다.
• 제안된 손실 함수는 그림 1과 2의 학습 및 검증 곡선을 통해 빠른 수렴을 이끌어내며, 손실과 정확도의 추세가 더 자연스럽게 일치하는 것으로 나타났습니다.