[논문 리뷰] Safer Together: Machine Learning Models Trained on Shared Accident Datasets Predict Construction Injuries Better than Company-Specific Models

Antoine J. -P. Tixier, Matthew R. Hallowell|arXiv (Cornell University)|2023. 01. 09.

Occupational Health and Safety Research인용 수 4

한 줄 요약

이 연구는 9개 기업의 57,000건의 건설 사고 보고서를 공유 및 집계한 데이터셋으로 훈련된 머신러닝 모델이 부상 심각도, 부상 유형, 사고 유형 예측에서 기업별 모델보다 뛰어난 성능을 보임을 입증한다. 여러 조직 간 전이 학습을 활용함으로써 일반화된 모델은 평균 F1 점수를 4.4점(최대 +15.3점) 향상시키고 평균적으로 2.26개 더 많은 결과 카테고리를 예측하여 더 넓고 실질적인 안전 예측을 가능하게 하며, 개별 기업의 데이터 및 모델 훈련 필요성을 줄인다.

ABSTRACT

In this study, we capitalized on a collective dataset repository of 57k accidents from 9 companies belonging to 3 domains and tested whether models trained on multiple datasets (generic models) predicted safety outcomes better than the company-specific models. We experimented with full generic models (trained on all data), per-domain generic models (construction, electric T&D, oil & gas), and with ensembles of generic and specific models. Results are very positive, with generic models outperforming the company-specific models in most cases while also generating finer-grained, hence more useful, forecasts. Successful generic models remove the needs for training company-specific models, saving a lot of time and resources, and give small companies, whose accident datasets are too limited to train their own models, access to safety outcome predictions. It may still however be advantageous to train specific models to get an extra boost in performance through ensembling with the generic models. Overall, by learning lessons from a pool of datasets whose accumulated experience far exceeds that of any single company, and making these lessons easily accessible in the form of simple forecasts, generic models tackle the holy grail of safety cross-organizational learning and dissemination in the construction industry.

연구 동기 및 목표

• 다양한 기업의 통합된 사고 데이터를 기반으로 훈련된 일반화된 머신러닝 모델이 기업별 모델보다 건설 안전 결과 예측 정확도에서 뛰어나다는지 평가하는 것.
• 데이터 공유와 집단 지능의 가치가 건설 부상 위험 예측 정확도 향상에 기여하는지 평가하는 것.
• 도메인별 또는 전체 일반화 모델이 더 효과적인지, 그리고 일반화 모델과 특정 모델을 조합한 앙상블 모델이 성능 향상에 기여하는지 판단하는 것.
• 제한된 사고 데이터를 보유한 소규모 기업이 일반화 모델을 통해 고품질의 안전 예측에 접근할 수 있도록 하는 것.
• 표준화된 속성을 활용해 확장 가능하고 개인정보 보호를 고려한 기업 간 안전 예측 프레임워크를 구축하는 것.

제안 방법

• 연구는 규칙과 어휘 기반의 검증된 NLP 도구를 사용해 서술형 사고 보고서에서 기본 작업 조건(예: 바닥 위의 물체, 도구, 자재)을 추출하기 위해 표준화된 속성 프레임워크를 활용했다.
• 3개 도메인(건설, 전력 및 송전, 오일·가스)의 9개 기업의 모든 데이터셋이 동일한 분류 체계로 표준화되어 데이터 상호운용성과 개인정보 보호를 확보했다.
• 감독 학습 모델은 3종류의 데이터로 훈련되었으며, 기업별 데이터셋, 전체 일반화 데이터셋(모든 기업), 도메인별 일반화 데이터셋(건설, T&D, 오일·가스)이다.
• 모델 성능 평가에는 F1 점수, 정밀도, 재현율, ROC 곡선 아래 면적을 사용하였고, 정밀한 결과를 확보하기 위해 분류 기반 교차 검증을 적용했다.
• 최적의 가중치를 검증 세트에서 도출하여, 일반화 모델과 기업별 모델의 예측을 가중 평균 방식으로 조합한 앙상블 모델을 구축했다.
• 최고의 성능을 보인 모델는 초모수 튜닝과 모델 스태킹을 통해 선별되었으며, 랜덤 포레스트, XGBoost, SVM 등 다양한 구성에서 테스트되었다.

Figure 1: Company-level max gains, across all domains and outcomes. n=41, min=0.2, max=15.3, mean=4.4.

실험 결과

연구 질문

• RQ1 여러 기업의 공유된 사고 데이터로 훈련된 일반화 모델이 개별 기업 데이터로 훈련된 모델보다 건설 부상 결과 예측 정확도에서 뛰어나다고 할 수 있는가?
• RQ2 일반화 모델의 성능 향상은 부상 심각도, 부상 유형, 사고 유형 등 다양한 안전 결과 및 도메인 간 일관된가?
• RQ3 일반화 모델과 기업별 모델을 조합한 앙상블 모델이 단독으로 사용하는 경우보다 성능 향상에 기여하는가?
• RQ4 예를 들어 건설 전용으로 훈련된 도메인별 일반화 모델이 전체 일반화 모델만큼 효과적인가?
• RQ5 앙성 모델에서 데이터 양(일반화)과 데이터 관련성(특정성) 사이의 최적 균형은 무엇인가?

주요 결과

• 모든 57,000건의 사고 기록으로 훈련된 일반화 모델은 82%의 기업-도메인-결과 조합에서 기업별 모델을 능가했으며, 평균 F1 점수 향상은 4.4점(최대 +15.3점)이었다.
• 부상 유형 예측에서는 일반화 모델이 평균 6.17점의 F1 점수 향상을 기록했으며, 건설 도메인에서 최대 10.64점 향상된 바 있었다.
• 일반화 모델은 기업별 모델 대비 평균적으로 2.26개 더 많은 카테고리를 예측했으며, 최대 7개의 추가 카테고리까지 확보하여 더 실질적인 안전 예측이 가능했다.
• 일반화 모델과 특정 모델을 조합한 앙상블 모델이 가장 높은 성능을 보였으며, 특히 부상 유형과 심각도 예측에서 둘 다 포함된 경우에만 최고의 결과를 도출했다.
• 전체 일반화 모델이 항상 도메인별 일반화 모델보다 뛰어나지 않았으며, 일부 사례에서는 도메인별 모델이 더 나은 성능을 보여, 도메인 특화 패턴이 중요함을 시사했다.
• 랜덤 포레스트가 15개 조합 중 6개에서 가장 높은 개별 점수를 기록했지만, XGBoost는 모델 크기가 랜덤 포레스트보다 작아 구현에 더 실용적이었으며, 유사한 성능를 보였다.

Figure 2: Gains averaged over companies. Left: n=48, min=0.16, max=9.98, mean=2.22. Right: n=11, min=0.95, max=9.98, mean=3.37.