[논문 리뷰] Happy Travelers Take Big Pictures: A Psychological Study with Machine Learning and Big Data

Xuefeng Liang, Lixin Fan외 3명|arXiv (Cornell University)|2017. 09. 22.

Big Data Technologies and Applications참고 문헌 22인용 수 5

한 줄 요약

이 연구는 대규모 데이터와 딥러닝을 활용하여 프레드릭슨의 정서의 광범위화 및 구축 이론을 검증한다. 트립어드바이저에서 확보한 418,000장의 여행 사진을 분석한 결과, 높은 평점을 받는 관광지에서는 낮은 평점의 장소보다 훨씬 더 많은 광각 사진을 찍는 것으로 나타났다(76% 대비 40%). 이는 긍정적 정서가 시각적 주의를 광범위하게 만든다는 가설을 지지하며, 딥러닝 모델은 인간 수준의 정확도로 사진 각도를 분류하는 데 성공했다.

ABSTRACT

In psychology, theory-driven researches are usually conducted with extensive laboratory experiments, yet rarely tested or disproved with big data. In this paper, we make use of 418K travel photos with traveler ratings to test the influential "broaden-and-build" theory, that suggests positive emotions broaden one's visual attention. The core hypothesis examined in this study is that positive emotion is associated with a wider attention, hence highly-rated sites would trigger wide-angle photographs. By analyzing travel photos, we find a strong correlation between a preference for wide-angle photos and the high rating of tourist sites on TripAdvisor. We are able to carry out this analysis through the use of deep learning algorithms to classify the photos into wide and narrow angles, and present this study as an exemplar of how big data and deep learning can be used to test laboratory findings in the wild.

연구 동기 및 목표

• 통제된 실험실 환경을 뛰어넘어 실제 세계에서 정서의 광범위화 및 구축 이론을 검증하기 위해 대규모 데이터를 활용한다.
• 관광지 평점으로 유추된 긍정적 정서가 광각 사진 촬영 행동을 통해 반영된 넓은 시각적 주의와 관련이 있는지 조사한다.
• 대규모 행동 분석을 위해 인간 수준의 정확도로 사진 시점 각도를 분류할 수 있는 딥러닝 모델을 개발하고 검증한다.
• 사이트 크기 및 정서적 중립성 등의 혼동 요인을 고려하기 위해 높은 평점, 낮은 평점, 무작위 선택된 사이트를 비교한다.
• 기계 학습과 대규모 데이터를 전통적 심리학 연구 방법의 보완 수단으로 활용할 수 있는지 자연주의적 환경에서의 가능성을 입증한다.

제안 방법

• 트립어드바이저에서 418,000장의 여행 사진을 확보하였으며, 사이트의 인기, 객관성(1,500표 이상), 지리적 다양성(아시아, 유럽, 아메리카), 사이트 유형 다양성 등을 기준으로 필터링하였고, 종교적 사이트는 제외하였다.
• CNN 기반의 딥러닝 모델(CF-CNN)을 개발하여 사진을 광각 및 좁은 각도로 분류하였으며, 인간 평가자 수준의 성능을 달성하였다.
• 선형 회귀 분석(식 1)을 통해 사이트 평점(정서 상태의 대체 지표)과 사이트 크기가 사진 각도 선호도에 미치는 영향을 분석하였으며, 혼란 변수를 통제하였다.
• 세 가지 실험을 수행: (1) 높은/낮은 평점 사이트 분석, (2) 사이트 크기를 통제한 분석, (3) YFCC100m에서 10,000장의 이미지를 활용해 중립 행동 기준선을 설정한 무작위 사진 기반 분석.
• 세 시그마 규칙을 적용하여 비교를 위해 고평점(9.0 초과) 및 저평점(7.4 이하) 기준을 설정하였다.
• 다양한 사이트 유형 간 정서 상태(긍정적, 중립, 부정적)를 비교하기 위해 광각 사진 비율을 주요 지표로 사용하였다.

실험 결과

연구 질문

• RQ1 높은 관광지 평점과 광각 사진 촬영 비율 증가 사이에 유의미한 상관관계가 존재하는가?
• RQ2 높은 평점으로 유추되는 긍정적 정서가 광각 사진 구성으로 나타나는 넓은 시각적 주의로 이어지는가?
• RQ3 관광지의 크기가 사진 각도 선호도에 영향을 미치며, 이는 정서적 영향과 분리 가능한가?
• RQ4 중립 정서 상태에서의 광각 사진 비율 기준선은 얼마이며, 정서적으로 강한 영향을 받는 사이트와 비교해 볼 때 어떻게 다른가?
• RQ5 딥러닝 모델이 대규모 스케일에서 사진 각도를 정확하게 분류할 수 있는가? 이를 통해 대규모 데이터에서 심리적 추론이 가능할 수 있는가?

주요 결과

• 높은 평점 관광지(9.0 초과)에서는 광각 사진 비율이 76%로 나타나, 랜덤 사진 기준선(40%)보다 유의미하게 높았다.
• 낮은 평점 사이트(7.4 이하)의 광각 사진 비율은 41%로, 무작위 기준선과 거의 동일하여 중립 또는 부정적 정서 상태를 시사한다.
• 높은 평점 사이트의 광각 사진 비율은 변동성이 낮아(6%) 낮은 평점 사이트(15.5%)보다 일관된 정서적 영향을 보였다.
• 사이트 크기를 통제한 후에도 높은 평점 사이트에서 광각 사진 선호도가 유의미하게 높게 유지되어, 물리적 공간 외의 정서적 영향이 확인되었다.
• 딥러닝 모델(CF-CNN)은 인간 성능과 동등한 정확도를 달성하여 광범위한 스케일의 사진 각도 분석을 신뢰할 수 있게 하였다.
• 결과는 정서의 광범위화 및 구축 이론이 실제 세계에서도 성립함을 지지한다: 긍정적 정서는 주의를 광범위하게 만들며, 이는 더 넓은 사진 구성으로 이어진다.