[논문 리뷰] Real-world Mapping of Gaze Fixations Using Instance Segmentation for Road Construction Safety Applications

Idris Jeelani, Khashayar Asadi외 3명|arXiv (Cornell University)|2019. 01. 30.

Occupational Health and Safety Research참고 문헌 50인용 수 7

한 줄 요약

이 논문은 실시간 도로 공사 현장 환경에서 가용 가능한 눈길 잡이 고정점(FOVs)을 자동으로 정의된 관심 영역(AOIs)으로 매핑하기 위해 전이 학습을 통한 마스크 R-CNN 모델을 활용한 컴퓨터 비전 시스템을 제안한다. 이 시스템은 굴삭기, 발전기, 전기 배선 등 위험 요소에 대해 88%의 정확도를 달성하여 작업자 주의 분석과 위험 인식 성능 분석을 자동화한다.

ABSTRACT

Research studies have shown that a large proportion of hazards remain unrecognized, which expose construction workers to unanticipated safety risks. Recent studies have also found that a strong correlation exists between viewing patterns of workers, captured using eye-tracking devices, and their hazard recognition performance. Therefore, it is important to analyze the viewing patterns of workers to gain a better understanding of their hazard recognition performance. This paper proposes a method that can automatically map the gaze fixations collected using a wearable eye-tracker to the predefined areas of interests. The proposed method detects these areas or objects (i.e., hazards) of interests through a computer vision-based segmentation technique and transfer learning. The mapped fixation data is then used to analyze the viewing behaviors of workers and compute their attention distribution. The proposed method is implemented on an under construction road as a case study to evaluate the performance of the proposed method.

연구 동기 및 목표

• 기존 연구가 정적 이미지에 의존함에 따라 실시간 현장 운영 중 건설 노동자의 실제 시각적 탐색 행동을 이해하는 데 미흡한 점을 보완하기 위해.
• 동적 건설 환경에서 눈길 잡이 고정점 데이터를 실제 위험 위치에 자동으로 매핑하는 시스템을 개발하기 위해.
• 컴퓨터 비전과 딥 러닝을 활용해 주의 분포 및 고정점 패턴을 분석함으로써 위험 인식 성능 향상시키기 위해.
• 실시간으로 작업자가 위험 요소를 어떻게 주시하는지 정량화함으로써 확장 가능한 데이터 기반 안전 교육을 가능하게 하기 위해.
• 실제 도로 공사 현장에서 정의된 위험 물체(AOIs)에 눈길 고정점이 얼마나 정확하게 매핑되는지 검증하기 위해.

제안 방법

• 활동 중인 도로 공사 현장에서 건설 노동자의 실시간 영상 및 눈길 잡이 고정점 데이터를 캡처하기 위해 착용형 눈길 잡이 안경을 사용한다.
• 사전 학습된 마스크 R-CNN 모델을 전이 학습을 통해 미세조정하여 영상 프레임에서 정의된 위험 물체(예: 굴삭기, 발전기, 전기 배선)를 감지하고 세그멘테이션한다.
• 고정점 검증을 위한 공간적 경계를 정의하기 위해 관심 있는 물체(AOI) 각각에 대해 픽셀 수준의 인스턴스 마스크를 생성한다.
• 100 Hz 눈길 잡이 데이터와 25 fps 영상 프레임 간의 시간적 동기화를 통해 프레임 속도 불일치를 보정한다.
• 고정점 좌표가 감지된 물체의 마스크 내부에 위치하는지 확인하여 고정점이 AOI 내부에 있는지 판단한다.
• 25개 테스트 프레임에서 수동으로 레이블링한 기준값과 비교하여 시스템의 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 인스턴스 세그멘테이션 모델은 실시간 공사 현장 영상에서 정의된 위험 물체를 정확하게 감지하고 마스크를 생성할 수 있는가?
• RQ2 컴퓨터 비전 기법을 활용해 착용형 눈길 잡이에서 생성된 고정점 데이터를 실제 물체 위치에 얼마나 정확하게 매핑할 수 있는가?
• RQ3 이미지 품질, 물체 위치(예: 중심 대비 외곽), 움직임 흐림 등의 요소에 따라 시스템 성능이 얼마나 달라지는가?
• RQ4 실제 환경에서 고정점 매핑으로 측정된 작업자의 주의 분포가 위험 인식 성능와 얼마나 상관관계가 있는가?
• RQ5 동적인 실제 공사 현장 환경에서 전기 배선, 굴삭기, 발전기와 같은 위험 요소를 안정적으로 감지하고 분류할 수 있는가?

주요 결과

• 25개 테스트 프레임에서 시스템은 정의된 위험 영역(AOIs)으로의 고정점 매핑에 대해 88%의 정확도를 달성했으며, 25개 중 22개의 고정점이 정확하게 식별되었다.
• 실패의 주요 원인은 고정점이 물체 가장자리 근처에 있을 경우 발생하는 마스크 생성 오류와 머리 움직임으로 인한 영상 흐림으로 인한 물체 감지 실패였다.
• 빠른 머리 움직임으로 인한 흐린 영상로 인해 특히 작은 또는 먼 물체(예: 전기 배선)의 감지 정확도가 떨어졌다.
• 고정점이 물체 마스크 내부의 중심에 위치할 경우 매핑 정확도가 가장 높았으며, 물체 가장자리에서는 오류율이 높았다.
• 주요 위험 유형인 굴삭기, 발전기, 전기 배선에 대해 대상 내외 고정점을 성공적으로 구분하였다.
• 100 Hz 눈길 잡이 데이터와 25 fps 영상 간의 시간적 비일치는 보정되었지만, 동기화 한계로 인해 미세한 잔여 오류가 존재했다.