[논문 리뷰] Regularizing Reasons for Outfit Evaluation with Gradient Penalty

Xingxing Zou, Zhizhong Li외 3명|arXiv (Cornell University)|2020. 02. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 8

한 줄 요약

이 논문은 인간의 전문 지식과 일치하는, 속성 기반의 설명을 제공하는 정확한 평가(좋음, 보통, 나쁨)를 내는 패션 의상 평가 시스템을 제안한다. 모델이 제공하는 이유가 전문가가 애너테이션한 근거와 일치하도록 기울기 페널티를 사용하여 Grad-CAM 유사 색소맵을 정규화함으로써, 18,108개의 의상 쌍으로 구성된 새로운 EVALUATION3 데이터셋에서 높은 정밀도와 해석 가능성 성능을 달성한다.

ABSTRACT

In this paper, we build an outfit evaluation system which provides feedbacks consisting of a judgment with a convincing explanation. The system is trained in a supervised manner which faithfully follows the domain knowledge in fashion. We create the EVALUATION3 dataset which is annotated with judgment, the decisive reason for the judgment, and all corresponding attributes (e.g. print, silhouette, and material \etc.). In the training process, features of all attributes in an outfit are first extracted and then concatenated as the input for the intra-factor compatibility net. Then, the inter-factor compatibility net is used to compute the loss for judgment. We penalize the gradient of judgment loss of so that our Grad-CAM-like reason is regularized to be consistent with the labeled reason. In inference, according to the obtained information of judgment, reason, and attributes, a user-friendly explanation sentence is generated by the pre-defined templates. The experimental results show that the obtained network combines the advantages of high precision and good interpretation.

연구 동기 및 목표

• 패션 분야의 전문 지식과 일치하는 속성 기반의 설명을 제공하는, 판단 외에도 설득력 있는 설명을 제공하는 의상 평가 시스템을 개발하는 것.
• 기존 설명 방법에서 흐린 또는 잘못 일치하는 설명을 자주 생성하는 바탕으로, 구체적이고 도메인 전문가와 일치하는 이유의 부족 문제를 해결하는 것.
• 기울기 페널티를 통해 모델의 주의 메커니즘을 정규화함으로써, 좋은 및 나쁜 판단에 대한 인간 애너테이션된 이유와 일치하도록 모델의 주의를 조정함으로써 모델의 해석 가능성 향상.
• 판단, 결정적 이유, 속성(예: 색상, 무늬, 소재)에 대해 애너테이션된 18,108개의 의상 쌍을 포함한 새로운 벤치마크 데이터셋 EVALUATION3을 구축하고 공개하는 것.
• 모델이 이유 정규화를 통해 설명의 정밀도를 크게 향상시키면서도 높은 판단 정확도를 유지할 수 있음을 입증하는 것.

제안 방법

• 의상 내의 패션 아이템들에서 내요소 호환성 특징(예: 색상, 무늬, 소재)을 별도의 네트워크를 통해 추출한다.
• 이 내요소 특징들은 연결되어 상호요소 호환성 네트워크에 입력되며, 최종 판단(좋음, 보통, 나쁨)을 출력한다.
• 판단 손실 함수에 대해 내요소 특징에 대한 기울기를 계산하여, Grad-CAM 유사 색소맵을 사용해 판단의 이유를 추적한다.
• 기울기 페널티 정규화를 적용하여 모델의 주의(이유)가 전문가가 애너테이션한 이유와 일치하도록 보장함으로써, 설명이 단지 시각적으로 두드러지는 것뿐만 아니라 인간 판단과 의미적으로 일치하도록 한다.
• 판단의 결정적 요인을 모델링하기 위해 기여도 차이 공식—특히 양호/나쁨과 보통 판단 간의 양의 기여도 차이—를 사용한다.
• 사전 정의된 의사결정 트리와 템플릿 기반 생성 모듈을 통해 예측된 판단, 이유, 속성을 자연어 설명으로 변환하여 사용자 우호성을 높인다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델을 훈련시켜 정확한 의상 호환성 판단 외에도 전문 지식과 일치하는 의미적으로 유의미한 속성 기반의 이유를 생성할 수 있는가?
• RQ2 기울기 기반 설명 방법은 어떻게 정규화되어야 하며, 모델이 제공하는 이유가 인간 애너테이션된 이유와 일치하고, 임의적이거나 오해의 소지가 있는 주의 맵을 생성하지 않도록 보장할 수 있는가?
• RQ3 특히 양호/나쁨과 보통 결과를 구분할 때, 개별 패션 속성의 기여도를 모델링하는 데 가장 적합한 공식은 무엇인가?
• RQ4 기울기 페널티 정규화의 포함 여부가 판단 정확도와 설명 정밀도 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 판단 출력을 상대적 호환성 점수로 스케일링하여 패션 추천과 같은 실세계 응용에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 이유 검증 정확도 측정 기준으로 모델이 생성한 이유와 전문가가 애너테이션한 이유 간의 일치도를 크게 향상시키며, 높은 판단 정확도를 유지한다.
• 이론적 분석에서, 이유를 모델링하는 데 있어 양의 기여도 차이 공식이 다른 공식들보다 정확도와 분산 측면에서 뛰어나며, 아블레이션 연구에서 평균 이유 정확도가 가장 높았다.
• 기울기 페널티 정규화는 특히 교차 엔트로피 정규화 형태를 사용할 경우 모델 설명을 인간 애너테이션된 이유와 효과적으로 일치시켜, 판단 정확도와 이유 정확도 사이의 최적의 트레이드오프를 달성한다(α = 1에서 최고 성능).
• 좋은 의상에서 특정 속성(예: 색상 또는 무늬)이 변경될 경우, 모델은 변화하는 요소를 정확히 식별하고 설명을 그에 맞게 적응시키며, 학습된 추론 능력을 보여준다.
• 다양한 정규화 계수에 대해 높은 성능을 유지하며, 중간 정도의 α 값에서는 판단 정확도가 안정되고, 이유 정확도는 α 증가에 따라 증가하여 성능 저하가 발생하기 이르기까지 정점에 도달한다.
• 판단 로짓을 상대적 호환성 점수로 스케일링하여 추천 시스템에 적합하게 조정함으로써, 패션 추천 파이프라인에 실용적으로 구현 가능하다.